Physics / Math
Neuronaler Abstieg
Ein neuronales Netz lernt live Ziffern, gezeichnet als Physik: die Verlustlandschaft in 3D, Gradientenabstieg als bergab rollende Kugel, Momentum als Trägheit und Minibatch-Rauschen als Temperatur.
Was passiert
Das Training eines neuronalen Netzes IST Physik: der Verlust ist eine potentielle Energie über dem Gewichtsraum, und Lernen ist ein bergab rollendes Teilchen. Die 3D-Fläche ist diese Landschaft - ein Zwei-Richtungen-Schnitt durch 1210 Dimensionen, um das wandernde Netz herum neu gezeichnet - die leuchtende Kugel ist das Netz selbst, die goldene Spur der eben vollzogene Abstieg. Die Regler sind Mechanik: Lernrate ist der Schritt, Momentum die Trägheit, die durch Schluchten gleitet, und Temperatur macht aus dem Abstieg Langevin-Dynamik - heize sie auf, und die Kugel klappert ewig über dem Minimum, genau wie ein thermisches Teilchen im Potentialtopf. Das Würfelpaneel zeigt derweil die Ziffer, die das Netz gerade liest. Zwei Richtungen von 1210: die Mulde, die Sie sehen, muss nicht die tiefste sein.
Gleichungen des Moduls
Gleichungen y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (Kreuzentropie) W ← W − η ∇L + Impulsbegriff (Gradientenabstieg analog zu einem rollenden Ball)
