Math
Оптимизация на ландшафте
Градиентный спуск, тяжёлый шар, симплекс Нелдера–Мида, имитация отжига и генетическая популяция спускаются по одной поверхности — чаша показывает число обусловленности, банан — ползание, Химмельблау — бассейны, Растригин — кто застревает.
Что происходит
Освещённая поверхность, высота которой — минимизируемая функция, и пять способов спуститься. Градиентный спуск шагает против уклона и в узкой долине зигзагом мечется от стенки к стенке — слишком большой шаг, и он вылетает. Импульс сглаживает зигзаг и проскакивает дно. Метод Ньютона прыгает в минимум местной параболы — блестяще у дна и потерянно вдали от него. Банановая долина Розенброка наказывает спуск, у Химмельблау четыре дна и старт решает, которое, у Растригина ложбина в каждом целом и самую глубокую трудно найти. Выберите поверхность и старт, пустите шары и считайте их шаги.
Уравнения модуля
Уравнения спуск: x' = x − η ∇f; метод тяжёлого шарика: v' = βv − η ∇f, x' = x + v чаша f = ½(x² + κy²): спуск сходится только при η < 2/κ Розенброк (1 − x)² + 100(y − x²)²; Химмельблау, четыре минимума; Растригин, впадины повсюду Ньютон: x' = x − H^(−1) ∇f, квадратичная сходимость вблизи минимума
