Множественная регрессия

3.2. МНК-модель

Как было сказано, при использовании метода наименьших квадратов (МНК) минимизируется сумма квадратов остатков модели:

(3.5)

Для нахождения минимума вычисляются частные производные функции по переменным , затем приравнивают нулю. Получаем систему нормальных МНК-уравнений для определения оценок коэффициентов :

(3.6)

Примем за вектор-столбец (, а за y вектор-столбец . Тогда систему уравнений (3.6) можно представить в матричном виде

(3.7)

Используя скалярные произведения векторов-столбцов матрицы X, матрицу можно также записать в виде

Предположим, что имеет обратную матрицу . Она называется матрицей дисперсий-ковариаций или просто ковариационной матрицей. Умножив уравнение (3.7) слева на матрицу , получим

Поскольку (, формула для решения системы нормальных уравнений МНК принимает вид

(3.8)

(Геометрическую интерпретацию метода наименьших квадратов см. в Приложении 3.)