Physics / Math
Нейронний спуск
Нейромережа вчиться розпізнавати цифри наживо, намальована як фізика: ландшафт втрат у 3D, градієнтний спуск - кулька, що котиться вниз, momentum - інерція, шум мінібатчів - температура.
Що відбувається
Навчання нейромережі І Є фізика: втрати - потенціальна енергія над простором ваг, а навчання - частинка, що котиться вниз. Тривимірна поверхня - той самий ландшафт, зріз за двома напрямками крізь 1210 виміри, перемальовуваний навколо мережі в міру її руху; сяюча кулька - сама мережа, а золотий слід - щойно пройдений спуск. Повзунки - це механіка: швидкість навчання - крок, momentum - інерція, що проскакує яри, а температура перетворює спуск на динаміку Ланжевена - нагрій, і кулька вічно деренчить над мінімумом, точнісінько як теплова частинка в ямі. А панель із кубиків показує цифру, яку мережа читає просто зараз. Два напрямки з 1210: та западина, у яку ви дивитесь, зовсім не мусить бути найглибшою.
Рівняння модуля
Рівняння y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (крос-ентропія) W ← W − η ∇L + термін імпульсу (градієнтний спад аналогічний котучій кулі)
