Physics / Math
Discesa neurale
Una rete neurale impara le cifre dal vivo, disegnata come fisica: il paesaggio della perdita in 3D, la discesa del gradiente come una palla che rotola, il momentum come inerzia e il rumore dei minibatch come temperatura.
Cosa succede
Addestrare una rete neurale È fisica: la perdita è un'energia potenziale sullo spazio dei pesi, e l'apprendimento è una particella che rotola in discesa. La superficie 3D è quel paesaggio - una sezione a due direzioni attraverso 1210 dimensioni, ridisegnata attorno alla rete mentre si muove - la palla luminosa è la rete stessa, e la scia dorata la discesa appena compiuta. I cursori sono meccanica: il tasso di apprendimento è il passo, il momentum l'inerzia che attraversa i burroni, e la temperatura trasforma la discesa in dinamica di Langevin - scaldala e la palla sferraglia per sempre sopra il minimo, esattamente come una particella termica in una buca. Intanto il pannello di cubi mostra la cifra che la rete sta leggendo. Due direzioni su 1210: l'avvallamento che state guardando non deve essere il più profondo.
Equazioni del modulo
Equazioni y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (entropia incrociata) W ← W − η ∇L + termine di momento (discesa gradiente analoga a una palla che rotola)
