Метод наименьших квадратов: формулы МНК и линейная регрессия вручную на примере

Что такое метод наименьших квадратов

Метод наименьших квадратов (МНК) — способ провести через облако точек линию, которая лучше всего описывает данные. «Лучше всего» означает: сумма квадратов отклонений точек от линии минимальна. Для прямой y = a + bx МНК дает готовые формулы для коэффициентов a и b, поэтому линейную регрессию можно посчитать вручную по таблице сумм.

Отклонение точки от линии называют остатком: eᵢ = yᵢ − ŷᵢ, где ŷᵢ = a + bxᵢ — значение на прямой. МНК подбирает a и b так, чтобы величина

была наименьшей. Квадраты берут по двум причинам: положительные и отрицательные отклонения не гасят друг друга, а большие промахи штрафуются сильнее малых. Кроме того, у такой суммы есть простой минимум, который находится через производные.

МНК: формулы коэффициентов

Приравняв к нулю частные производные S по a и по b, получаем систему нормальных уравнений:

Ее можно решить методом Крамера или подстановкой. Итоговые формулы МНК:

Здесь n — число точек, x̄ и ȳ — средние значения. Из второй формулы видно полезное свойство: прямая МНК всегда проходит через точку средних (x̄; ȳ).

Есть равносильная запись через отклонения от средних — ее удобно использовать, если средние уже посчитаны:

Коэффициент b показывает, на сколько единиц в среднем меняется y при росте x на единицу. Коэффициент a — значение y при x = 0; экономический смысл у него есть не всегда.

Линейная регрессия вручную: пример на 7 точках

Магазин записал выручку за 7 месяцев. x — номер месяца, y — выручка, млн руб. Найдем уравнение тренда y = a + bx, оценим его качество и сделаем прогноз на 8-й месяц.

Шаг 1. Таблица сумм. Для каждой точки считаем x² и xy, затем складываем столбцы.

n = 7, x̄ = 28 / 7 = 4, ȳ = 59 / 7 ≈ 8,429.

Шаг 2. Коэффициент b.

• числитель: n·Σxy − Σx·Σy = 7 · 288 − 28 · 59 = 2016 − 1652 = 364;
• знаменатель: n·Σx² − (Σx)² = 7 · 140 − 28² = 980 − 784 = 196;
• b = 364 / 196 = 13/7 ≈ 1,857.

Проверка через отклонения: Σ(x − x̄)(y − ȳ) = Σxy − Σx·Σy / n = 288 − 236 = 52, Σ(x − x̄)² = Σx² − (Σx)² / n = 140 − 112 = 28, b = 52 / 28 = 13/7. Совпало.

Шаг 3. Коэффициент a. a = ȳ − b·x̄ = 59/7 − 13/7 · 4 = 59/7 − 52/7 = 7/7 = 1.

Смысл: каждый месяц выручка в среднем растет на 1,857 млн руб.

Шаг 4. Остатки. Подставляем x в уравнение и вычитаем из фактического y.

Сумма остатков равна нулю — это свойство МНК для модели со свободным членом и хорошая проверка арифметики. Сумма квадратов остатков SSE = 8/7 ≈ 1,143. Это и есть тот минимум, который нашел метод: при любых других a и b сумма будет больше.

Шаг 5. Коэффициент детерминации R². Общая сумма квадратов показывает, насколько y разбросаны вокруг среднего:

Σy² = 9 + 25 + 36 + 64 + 121 + 144 + 196 = 595. Тогда:

Модель объясняет около 98,8% вариации выручки. Для парной регрессии R² равен квадрату коэффициента корреляции: r ≈ 0,994, r² ≈ 0,988.

Шаг 6. Прогноз. Для 8-го месяца: ŷ = 1 + 13/7 · 8 = 1 + 104/7 ≈ 15,86 млн руб. Прогноз имеет смысл только недалеко за пределами данных и при условии, что тренд сохранится.

Все суммы, коэффициенты и R² проверены в Python: numpy.polyfit(x, y, 1) возвращает b = 1,857 и a = 1,000.

Как читать результат

Ориентиры для R² зависят от области: во временных рядах с трендом 0,9 и выше — обычное дело, а в социологических данных и 0,3 может быть содержательным результатом. Большой R² не доказывает причинную связь: он лишь говорит, что прямая хорошо ложится на точки.

Когда МНК дает надежный результат

МНК всегда построит прямую, даже если она не имеет смысла. Перед выводами проверьте:

• связь похожа на линейную — постройте точечный график; если точки ложатся дугой, нужна другая форма модели;
• нет сильных выбросов — одна далекая точка из-за квадратов может заметно развернуть прямую;
• остатки без закономерности — если они идут «волной» или растут вместе с x, модель что-то упускает;
• данных достаточно — по 3–4 точкам можно посчитать коэффициенты, но выводы будут ненадежными.

Для курсовой обычно требуют еще значимость коэффициентов (t-статистика) и уравнения в целом (F-критерий). Это следующий шаг после МНК, его удобно делать в Excel или калькуляторе — разбор есть в статье регрессия в Excel. Разброс исходных данных полезно описать заранее: см. дисперсию и стандартное отклонение.

МНК в Excel: какие функции использовать

В Excel те же коэффициенты считаются встроенными функциями. Если x записаны в ячейках A2:A8, а y — в B2:B8:

• =НАКЛОН(B2:B8; A2:A8) — коэффициент b, в примере 1,857;
• =ОТРЕЗОК(B2:B8; A2:A8) — коэффициент a, в примере 1;
• =КВПИРСОН(B2:B8; A2:A8) — коэффициент детерминации R², в примере 0,988;
• =ПРЕДСКАЗ(9; B2:B8; A2:A8) — прогноз для x = 9, в примере ≈ 17,71 (в новых версиях есть и ПРЕДСКАЗ.ЛИНЕЙН);
• =ЛИНЕЙН(B2:B8; A2:A8; ИСТИНА; ИСТИНА) — сразу коэффициенты, их стандартные ошибки, R² и F-статистику.

В курсовой удобно совместить оба подхода: в тексте показать таблицу сумм и формулы МНК, а результат подтвердить значениями из Excel. Так проверяющий видит, что вы понимаете метод, а не просто нажали кнопку. На точечную диаграмму можно добавить линию тренда с уравнением и R² — она должна совпасть с вашим расчетом.

Проверка расчета онлайн

Ручной расчет нужен, чтобы понимать метод и уметь показать формулы в работе. Свериться с ответом быстрее в калькуляторе: вставьте столбцы x и y и сравните коэффициенты, R² и остатки.

Если хотите, чтобы специалист проверил расчет в практической главе, есть услуга проверки расчетов. А если нужен разбор эконометрической части курсовой целиком, опишите задачу — отклики придут с ценой и сроком.

Частые вопросы