Physics / Math
Пам'ять Гопфілда
Пошкодь записану пам'ять пензлем, передбач, чи вона повернеться, і дивись, як мережа лагодить її по одному нейрону — кожен переворот знижує енергію на 2|h| — або скочується в іншу пам'ять чи в хибну суміш, названу прямо.
Що відбувається
Мережа — 100 спінів Ізінга зі зв'язками Гебба, W_ij = (1/N) Σ ξ_i ξ_j за збереженими образами, енергія E = −½ s·W·s і динаміка Глаубера при температурі T: при T = 0 переворот ніколи не підіймає E, тож пригадування — це спуск. Чаша внизу — вільна енергія середнього поля над площиною перекриттів із двома образами: чотири її ями — спогади, куля — сама мережа, а вище T = 1 ями запливають — пам'ять тане в парамагнетик. Запишіть понад 0,138 N образів, і ями тісняться: пригадування за зіпсованою підказкою починає відмовляти — ємність показано, а не процитовано. Вісім фігур корельовані, як усе намальоване, і правило Гебба цього не любить; вісім випадкових образів за ними — ні. Кожен переворот спалахує своїми зв'язками — рожеві збуджувальні, сині гальмівні.
Рівняння модуля
Рівняння W_ij = (1/N) Σ_μ ξ_i^μ ξ_j^μ (Hebb) h_i = Σ_j W_ij s_j, s_i ← sign(h_i) E = −½ Σ W_ij s_i s_j зменшується при кожному обертанні
