Physics / Math
Память Хопфилда
Повреди записанную память кистью, предскажи, вернётся ли она, и смотри, как сеть чинит её по одному нейрону — каждый переворот понижает энергию на 2|h| — или сваливается в другую память либо в ложную смесь, названную прямо.
Что происходит
Сеть — 100 спинов Изинга со связями Хебба, W_ij = (1/N) Σ ξ_i ξ_j по хранимым образам, энергия E = −½ s·W·s и динамика Глаубера при температуре T: при T = 0 переворот никогда не поднимает E, так что вспоминание — это спуск. Чаша внизу — свободная энергия среднего поля над плоскостью перекрытий с двумя хранимыми образами: четыре её ямы — воспоминания, шар — сама сеть, а выше T = 1 ямы заплывают — память тает в парамагнетик. Запишите больше 0,138 N образов, и ямы теснятся: вспоминание по испорченной подсказке начинает отказывать — ёмкость показана, а не процитирована. Восемь фигур коррелированы, как всё нарисованное, и правило Хебба этого не любит; восемь случайных образов за ними — нет. Каждый переворот вспыхивает своими связями — розовые возбуждающие, синие тормозящие.
Уравнения модуля
Уравнения W_ij = (1/N) Σ_μ ξ_i^μ ξ_j^μ (Hebb) h_i = Σ_j W_ij s_j, s_i ← sign(h_i) E = −½ Σ W_ij s_i s_j уменьшается при каждом перевороте спина
