Множественная линейная регрессия: коэффициенты, R², adjusted R² и t-статистики

Модель с несколькими факторами

Множественная линейная регрессия связывает зависимую переменную Y сразу с несколькими X.

Коэффициент b₁ интерпретируется как изменение прогнозного Y при увеличении x₁ на единицу при фиксированных остальных факторах модели.

Как оцениваются коэффициенты

В обычном методе наименьших квадратов коэффициенты выбираются так, чтобы минимизировать сумму квадратов остатков.

Эта запись также показывает одну из проблем: если столбцы факторов почти линейно зависят друг от друга, матрица XᵀX становится плохо обусловленной, а оценки коэффициентов — нестабильными.

R² и adjusted R²

Обычный R² не уменьшается при добавлении новых факторов, даже если они почти бесполезны. Поэтому при сравнении моделей с разным числом переменных используют скорректированный коэффициент детерминации.

Здесь n — число наблюдений, p — число факторов без учета константы.

t-статистика коэффициента

Для каждого коэффициента можно оценить стандартную ошибку и t-статистику:

Дальше t сравнивается с распределением Стьюдента при соответствующем числе степеней свободы или переводится в p-value.

Почему высокий R² не означает хорошую модель

Высокий R² может появиться из-за трендов, утечки информации, слишком большого числа факторов или специфики выборки. После оценки модели проверьте:

• осмысленность знаков коэффициентов;
• мультиколлинеарность;
• структуру остатков;
• выбросы и влиятельные наблюдения;
• устойчивость результата на другой выборке, если задача прогнозная.

Что писать в интерпретации

Не переписывайте таблицу коэффициентов. Выберите экономически или предметно значимые факторы, объясните знак и размер коэффициента, укажите неопределенность оценки и сопоставьте результат с исходной гипотезой.

Для быстрой оценки модели до шести факторов используйте калькулятор множественной регрессии.