Physics / Math
Zejście neuronowe
Sieć neuronowa uczy się cyfr na żywo, narysowana jako fizyka: krajobraz straty w 3D, spadek gradientu jako kulka tocząca się w dół, momentum jako bezwładność i szum minibatchy jako temperatura.
Co się dzieje
Trenowanie sieci neuronowej JEST fizyką: strata to energia potencjalna nad przestrzenią wag, a uczenie to cząstka tocząca się w dół. Powierzchnia 3D to ten krajobraz - przekrój dwukierunkowy przez 1210 wymiary, przerysowywany wokół sieci w miarę jej ruchu - świecąca kulka to sama sieć, a złoty ślad to właśnie wykonane zejście. Suwaki to mechanika: współczynnik uczenia to krok, momentum to bezwładność przeskakująca wąwozy, a temperatura zamienia zejście w dynamikę Langevina - podgrzej, a kulka wiecznie grzechocze nad minimum, dokładnie jak cząstka termiczna w studni. Panel z kostek pokazuje tymczasem cyfrę, którą sieć właśnie czyta. Dwa kierunki z 1210: zagłębienie, na które patrzysz, wcale nie musi być najgłębsze.
Równania modułu
Równania y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (entropia krzyżowa) W ← W − η ∇L + termin pędu (spadek gradientu analogiczny do toczącej się piłki)
