Physics / Math
Hopfield-Gedächtnis
Beschädige eine gespeicherte Erinnerung mit einem Pinsel, sage voraus, ob sie zurückkommt, und sieh zu, wie das Netz sie Neuron für Neuron repariert - jedes Umklappen senkt die Energie um 2|h| - oder in eine andere Erinnerung oder eine Scheinmischung fällt, beim Namen genannt.
Was passiert
Das Netz sind 100 Ising-Spins mit Hebb-Kopplungen, W_ij = (1/N) Σ ξ_i ξ_j über die gespeicherten Muster, Energie E = −½ s·W·s und Glauber-Dynamik bei Temperatur T — bei T = 0 hebt kein Flip E an, der Abruf ist ein Abstieg. Die Schale unten ist die Molekularfeld-Freie-Energie über der Überlapp-Ebene zweier Muster: ihre vier Mulden sind die Erinnerungen, die Kugel ist das Netz selbst, und über T = 1 füllen sich die Mulden — das Gedächtnis schmilzt zum Paramagneten. Speichert man mehr als 0,138 N Muster, drängen sich die Mulden: der Abruf aus einem gestörten Hinweis beginnt zu scheitern — die Kapazität wird gezeigt, nicht zitiert. Die acht Formen sind korreliert, wie Gezeichnetes es ist, und die Hebb-Regel mag das nicht; die acht Zufallsmuster dahinter sind es nicht. Jeder Flip lässt seine Kopplungen aufleuchten — rosa erregend, blau hemmend.
Gleichungen des Moduls
Gleichungen W_ij = (1/N) Σ_μ ξ_i^μ ξ_j^μ (Hebb) h_i = Σ_j W_ij s_j, s_i ← sign(h_i) E = −½ Σ W_ij s_i s_j verringert sich bei jedem Spin Flip
