Math
Метод наименьших квадратов и переобучение
Аппроксимируйте зашумлённые данные многочленами, перемещайте выброс, сравнивайте ошибки обучения и точной функции и регулируйте переобучение гребневой регуляризацией.
Что попробовать
Подберите многочлен к 16 зашумлённым точкам методом QR Хаусхолдера. Нажатием перемещайте ближайшую точку по вертикали и создавайте выброс. Сравните ошибку обучения с ошибкой относительно известной функции; гребневая регуляризация штрафует непостоянные коэффициенты.
Уравнения модуля
Уравнения Критерий: minβ ||Aβ−y||² + λ Σⱼ≥₁ βⱼ², где Aij = xiʲ Отражения Хаусхолдера: A = QR; решить Rβ = Qᵀy Гребневая регрессия реализуется дополнением A строками √λI Остатки на обучающей выборке могут уменьшаться, пока ошибка предсказания на эталонных данных растёт
