Physics / Math
Descente neuronale
Un réseau de neurones apprend les chiffres en direct, dessiné comme de la physique : le paysage de perte en 3D, la descente de gradient comme une bille qui roule, le momentum comme inertie et le bruit des minibatchs comme température.
Ce qui se passe
Entraîner un réseau de neurones EST de la physique : la perte est une énergie potentielle sur l'espace des poids, et l'apprentissage une particule qui roule vers le bas. La surface 3D est ce paysage - une coupe à deux directions à travers 1210 dimensions, redessinée autour du réseau à mesure qu'il bouge - la bille lumineuse est le réseau lui-même, et la traînée dorée la descente qu'il vient d'accomplir. Les curseurs sont de la mécanique : le taux d'apprentissage est le pas, le momentum l'inertie qui franchit les ravins, et la température transforme la descente en dynamique de Langevin - chauffez, et la bille cliquette à jamais au-dessus du minimum, exactement comme une particule thermique dans un puits. Le panneau de cubes montre pendant ce temps le chiffre que le réseau lit à l'instant. Deux directions sur 1210 : le creux que vous regardez n'est pas forcément le plus profond.
Équations du module
Équations y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (entropie croisée) W ← W − η ∇L + terme d'impulsion (descente en gradient analogue à une boule roulante)
