Math
Оптимізація на ландшафті
Градієнтний спуск, важка куля, симплекс Нелдера–Міда, імітація відпалу та генетична популяція спускаються однією поверхнею — чаша показує число обумовленості, банан — повзання, Гіммельблау — басейни, Растригін — хто застрягає.
Що відбувається
Освітлена поверхня, висота якої — мінімізована функція, і п’ять способів спуститися. Градієнтний спуск крокує проти схилу і у вузькій долині зигзагом кидається від стінки до стінки — надто великий крок, і він вилітає. Імпульс згладжує зигзаг і проскакує дно. Метод Ньютона стрибає в мінімум місцевої параболи — блискуче біля дна і загублено далеко від нього. Бананова долина Розенброка карає спуск, у Гіммельблау чотири дна і старт вирішує, яке, у Растригіна улоговина в кожному цілому і найглибшу важко знайти. Оберіть поверхню і старт, пустіть кулі й рахуйте їхні кроки.
Рівняння модуля
Рівняння спуск: x' = x − η ∇f; важка кулька: v' = βv − η ∇f, x' = x + v чаша f = ½(x² + κy²): спуск збігається лише при η < 2/κ Розенброк (1 − x)² + 100(y − x²)²; Гіммельблау, чотири мінімуми; Растригін, западини всюди Ньютон: x' = x − H^(−1) ∇f, квадратична збіжність біля мінімуму
