Math
Optimierung auf einer Landschaft
Gradientenabstieg, die schwere Kugel, der Nelder-Mead-Simplex, simuliertes Ausglühen und eine genetische Population gehen dieselbe Fläche hinab - die Schüssel zeigt die Konditionszahl, die Banane das Kriechen, Himmelblau die Einzugsgebiete und Rastrigin, wer steckenbleibt.
Was passiert
Eine beleuchtete Fläche, deren Höhe die zu minimierende Funktion ist, und fünf Wege hinab. Der Gradientenabstieg schreitet gegen die Steigung und zickzackt in einem engen Tal von Wand zu Wand - ein zu großer Schritt, und er fliegt hinaus. Impuls glättet den Zickzack und schießt über den Boden hinaus. Newtons Verfahren springt ins Minimum der lokalen Parabel, glänzend nahe einem Boden und verloren weit davon. Rosenbrocks Bananental bestraft den Abstieg, Himmelblau hat vier Böden und der Start entscheidet, welchen, Rastrigin hat an jeder ganzen Zahl eine Mulde und die tiefste ist schwer zu finden. Wähle eine Fläche und einen Start, lass die Kugeln los und zähle ihre Schritte.
Gleichungen des Moduls
Gleichungen Abstieg: x' = x − η ∇f; Impuls (schwere Kugel): v' = βv − η ∇f, x' = x + v Mulde f = ½(x² + κy²): der Abstieg konvergiert nur für η < 2/κ Rosenbrock (1 − x)² + 100(y − x²)²; Himmelblau, vier Minima; Rastrigin, überall Mulden Newton: x' = x − H^(−1) ∇f, quadratische Konvergenz nahe einem Minimum
