Physics / Math
Pamięć Hopfielda
Uszkodź pędzlem zapisaną pamięć, przewidź, czy wróci, i patrz, jak sieć naprawia ją neuron po neuronie - każde odwrócenie obniża energię o 2|h| - albo wpada w inną pamięć lub w fałszywą mieszaninę, nazwaną po imieniu.
Co się dzieje
Sieć to 100 spinów Isinga ze sprzężeniami Hebba, W_ij = (1/N) Σ ξ_i ξ_j po zapamiętanych wzorcach, energia E = −½ s·W·s i dynamika Glaubera w temperaturze T — przy T = 0 żaden przeskok nie podnosi E, więc przypominanie to zjazd. Misa poniżej to energia swobodna pola średniego nad płaszczyzną przekryć z dwoma wzorcami: jej cztery doły to wspomnienia, kula to sama sieć, a powyżej T = 1 doły się zasypują — pamięć topi się w paramagnetyk. Zapisz więcej niż 0,138 N wzorców, a doły się tłoczą: przypominanie z uszkodzonej wskazówki zaczyna zawodzić — pojemność pokazana, nie cytowana. Osiem kształtów jest skorelowanych, jak wszystko narysowane, a reguła Hebba tego nie lubi; osiem losowych wzorców za nimi — nie. Każdy przeskok rozświetla swoje sprzężenia jak przewody — różowe pobudzające, niebieskie hamujące.
Równania modułu
Równania W_ij = (1/N) Σ_μ ξ_i^μ ξ_j^μ (Hebb) h_i = Σ_j W_ij s_j, s_i ← sign(h_i) E = −½ Σ W_ij s_i s_j zmniejsza się przy każdym spin flip
