Math
Optimisation sur un paysage
La descente de gradient, la boule lourde, le simplexe de Nelder-Mead, le recuit simulé et une population génétique descendent la même surface - le bol montre le conditionnement, la banane la reptation, Himmelblau les bassins et Rastrigin qui reste coincé.
Ce qui se passe
Une surface éclairée dont la hauteur est la fonction à minimiser, et cinq manières d'en descendre. La descente de gradient avance contre la pente et, dans une vallée étroite, zigzague d'une paroi à l'autre - un pas trop grand et elle s'envole. L'inertie lisse le zigzag et dépasse le fond. La méthode de Newton saute au minimum de la parabole locale, brillante près d'un fond et perdue loin de lui. La vallée en banane de Rosenbrock punit la descente, Himmelblau a quatre fonds et le départ décide lequel, Rastrigin a un creux à chaque entier et le plus profond est dur à trouver. Choisissez une surface et un départ, lâchez les billes, et comptez leurs pas.
Équations du module
Équations descente : x' = x − η ∇f ; boule lourde : v' = βv − η ∇f, x' = x + v cuvette f = ½(x² + κy²) : la descente ne converge que pour η < 2/κ Rosenbrock (1 − x)² + 100(y − x²)² ; Himmelblau, quatre minima ; Rastrigin, creux partout Newton : x' = x − H^(−1) ∇f, quadratique près d'un minimum
