11  L11 // Обобщенные аддитивные модели. Регуляризация регрессии

11.1 Обобщенные аддитивные модели

Немного рекапнем, что мы знаем к данному моменту.

В начале \[ y = b_0 + b_1 x_1 + b_2 x_2 + \dots + b_p x_p + e \]

\[ g(x) = b_0 + b_1 x_1 + b_2 x_2 + \dots + b_p x_p + e \]

11.1.1 Нелинейные закономерности и полиномиальная регрессия

11.1.2 Формализация обобщенных аддитивных моделей

11.1.2.1 Сплайны

loess

11.1.3 Идентификация модели

11.1.4 Тестирование качества модели и значимости предикторов

11.1.5 Предсказательная сила модели

11.2 Регуляризованная регрессия

11.2.1 Штраф суммы квадратов остатков за мультиколлинеарность

11.2.2 Варианты штрафа

11.2.2.1 Ridge-регрессия

11.2.2.2 LASSO-регрессия

11.2.2.3 Метод эластичной сети

11.2.3 Штрафной коэффициент

11.2.4 Доверительные интервалы и статистические гипотезы

11.2.5 Предсказания с помощью регуляризованной регрессии