Physics / Math
Нейронный спуск
Нейросеть учится распознавать цифры вживую, нарисованная как физика: ландшафт потерь в 3D, градиентный спуск - шарик, катящийся вниз, momentum - инерция, шум минибатчей - температура.
Что происходит
Обучение нейросети И ЕСТЬ физика: потери - потенциальная энергия над пространством весов, а обучение - частица, катящаяся вниз. Трёхмерная поверхность - тот самый ландшафт, срез по двум направлениям сквозь 1210 измерения, перерисовываемый вокруг сети по мере её движения; светящийся шарик - сама сеть, а золотой след - только что пройденный спуск. Слайдеры - это механика: скорость обучения - шаг, momentum - инерция, проскакивающая овраги, а температура превращает спуск в динамику Ланжевена - нагрей, и шарик вечно дребезжит над минимумом, в точности как тепловая частица в яме. А панель из кубиков показывает цифру, которую сеть читает прямо сейчас. Два направления из 1210: та впадина, в которую вы смотрите, вовсе не обязана быть самой глубокой.
Уравнения модуля
Уравнения y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (перекрестная энтропия) W ← W − η ∇L + импульсный термин (градиентное падение аналогично катящемуся шару)
