Physics / Math
Descenso neuronal
Una red neuronal aprende dígitos en vivo, dibujada como física: el paisaje de pérdida en 3D, el descenso de gradiente como una bola rodando cuesta abajo, el momentum como inercia y el ruido de minibatches como temperatura.
Qué ocurre
Entrenar una red neuronal ES física: la pérdida es una energía potencial sobre el espacio de pesos, y aprender es una partícula rodando cuesta abajo. La superficie 3D es ese paisaje - un corte de dos direcciones a través de 1210 dimensiones, redibujado alrededor de la red mientras se mueve - la bola brillante es la propia red, y la estela dorada el descenso que acaba de realizar. Los deslizadores son mecánica: la tasa de aprendizaje es el paso, el momentum la inercia que atraviesa barrancos, y la temperatura convierte el descenso en dinámica de Langevin - caliéntala y la bola traquetea para siempre sobre el mínimo, exactamente como una partícula térmica en un pozo. Mientras tanto el panel de cubos muestra el dígito que la red lee ahora mismo. Dos direcciones de 1210: el valle que mira no tiene por qué ser el más profundo.
Ecuaciones del módulo
Ecuaciones y = softmax(W₂ σ(W₁ x + b₁) + b₂) L = −Σ log y_label (entropía cruzada) W ← W − η ∇L + término de impulso (descenso de gradiente análogo a una pelota rodante)
