Math
Ottimizzazione su un paesaggio
La discesa del gradiente, la palla pesante, il simplesso di Nelder-Mead, la ricottura simulata e una popolazione genetica scendono la stessa superficie - la ciotola mostra il numero di condizionamento, la banana lo strisciare, Himmelblau i bacini e Rastrigin chi resta bloccato.
Cosa succede
Una superficie illuminata la cui altezza è la funzione da minimizzare, e cinque modi per scendere. La discesa del gradiente cammina contro la pendenza e, in una valle stretta, zigzaga da parete a parete - un passo troppo grande e vola fuori. Il momento smussa lo zigzag e supera il fondo. Il metodo di Newton salta al minimo della parabola locale, brillante vicino a un fondo e perso lontano da esso. La valle a banana di Rosenbrock punisce la discesa, Himmelblau ha quattro fondi e la partenza decide quale, Rastrigin ha una conca a ogni intero e la più profonda è difficile da trovare. Scegli una superficie e una partenza, lascia le palline e conta i loro passi.
Equazioni del modulo
Equazioni discesa: x' = x − η ∇f; palla pesante: v' = βv − η ∇f, x' = x + v conca f = ½(x² + κy²): la discesa converge solo per η < 2/κ Rosenbrock (1 − x)² + 100(y − x²)²; Himmelblau, quattro minimi; Rastrigin, avvallamenti ovunque Newton: x' = x − H^(−1) ∇f, convergenza quadratica vicino a un minimo
