Math
Optimización sobre un paisaje
El descenso por gradiente, la bola pesada, el símplex de Nelder-Mead, el recocido simulado y una población genética bajan por la misma superficie - el cuenco muestra el número de condición, el plátano el arrastre, Himmelblau las cuencas y Rastrigin quién se atasca.
Qué ocurre
Una superficie iluminada cuya altura es la función a minimizar, y cinco maneras de bajar. El descenso por gradiente avanza contra la pendiente y, en un valle estrecho, zigzaguea de pared a pared; un paso demasiado grande y sale despedido. El momento suaviza el zigzag y se pasa del fondo. El método de Newton salta al mínimo de la parábola local, brillante cerca de un fondo y perdido lejos de él. El valle en banana de Rosenbrock castiga el descenso, Himmelblau tiene cuatro fondos y el arranque decide cuál, Rastrigin tiene un hoyo en cada entero y el más hondo es difícil de hallar. Elige una superficie y un arranque, suelta las bolas y cuenta sus pasos.
Ecuaciones del módulo
Ecuaciones descenso: x' = x − η ∇f; bola pesada: v' = βv − η ∇f, x' = x + v cuenco f = ½(x² + κy²): el descenso converge solo para η < 2/κ Rosenbrock (1 − x)² + 100(y − x²)²; Himmelblau, cuatro mínimos; Rastrigin, depresiones por todas partes Newton: x' = x − H^(−1) ∇f, convergencia cuadrática cerca de un mínimo
