Опубликован: 30.11.2010 | Уровень: специалист | Доступ: платный | ВУЗ: Мордовский государственный университет имени Н.П. Огарева
Лекция 11:

Оценивание параметров линейной модели по наблюдениям неполного ранга

< Лекция 10 || Лекция 11: 12 || Лекция 12 >
Аннотация: Цель работы: изучить способы оценки параметров линейной регрессионной модели в случае вырожденной информационной матрицы нормального уравнения. Среда программирования — MATLAB.

Теоретическая часть

Пусть линейная модель наблюдений имеет следующий вид в векторно-матричной форме:

Y=X\beta+\varepsilon,\mbox{  }M\{\varepsilon\}=0;\mbox{   }D\{\varepsilon\}=\sigma^2 E_n, ( 11.1)

где:

Yn -мерный вектор наблюдений;

Хматрица известных коэффициентов порядка n\times p (матрица регрессоров);

\betap -мерный вектор неизвестных параметров, подлежащих определению;

\varepsilonn -мерный случайный вектор (помехи);

\sigma^2 — неизвестный параметр;

E_{n}единичная матрица;

M, Dоператоры взятия математического ожидания и дисперсии [1].

В случае применения метода наименьших квадратов для оценки параметров модели (11.1) приходим к нормальному уравнению

X^TX\tilde b=X^TY. ( 11.2)

Если rank X = r < p, то информационная матрица X^{T}X является вырожденной (т. е. ее детерминант равен нулю) и множество решений нормального уравнения (11.2) будет бесконечным [1]. В этом случае модель наблюдений (11.1) называют моделью наблюдений неполного ранга.

Оценка общего решения нормального уравнения с вырожденной информационной матрицей может быть получена с помощью обобщенной обратной матрицы, которую обозначают как S ^{-} и называют g -обратной матрицей. Обобщенная обратная матрица всегда существует и не обязательно единственная [1, 17].

Определение. Пусть S — (m\times n) -матрица произвольного ранга. Обобщенной обратной (или g -обратной) матрицей для S называется матрица S ^{-} порядка n\times m, такая, что

SS ^{-}S=S ( 11.3)

Нормальное уравнение (11.2) запишем в виде

Sb = Q, ( 11.4)

где:

S=X^{T}X — квадратная матрица порядка p ;

Q=X^{T}Yp -мерный вектор.

Если rank X = r < p, то матрица S — вырожденная.

Общее решение неоднородного уравнения (11.4) есть сумма любого частного решения этого уравнения и общего решения однородного уравнения

Sb = 0. ( 11.5)

Известно, что если S ^{-} — обобщенная матрица для матрицы S, то частное решение уравнения (11.4) имеет вид

\tilde b=S ^{-}Q. ( 11.6)

Общее решение однородного уравнения (11.5) имеет вид

\tilde{\tilde b}=(H-E_p)z, ( 11.7)

где:

H=S^{-}S — идемпотентная матрица ( H=H^{2},\mbox{   }rank\mbox{   }H = trace\mbox{   }H = p );

E_{p}единичная матрица порядка p ;

z — произвольный вещественный вектор порядка p, в том числе и равный тождественно нулю [1].

Общее решение уравнения (11.4) есть сумма частного решения (11.6) и решения однородного уравнения (11.7), т. е.

\hat b=S^{-}X^TY+(H-E_p)z. ( 11.8)

Алгоритм построения общего решения нормального уравнения и обобщенной обратной матрицы S

  1. В матрице неполного ранга Х определяют линейно независимые столбцы. Пусть это будут первые k -столбцов.
  2. Матрицу Х представляют в виде блочной матрицы с подматрицами Х_{0} и Х_{1}, т. е. X = [X_{0}, X_{1}], где X_{0} — матрица размера n\times k.
  3. Матрицу S представляют в виде
    S=X^TX=
\left[\begin{array}{ccc}
X^T_0\\
X^T_1
\end{array}\right]
[X_0,X_1]=
\left[\begin{array}{ccc}
X^T_0X_0 &X^T_0X_1\\
X^T_1X_0 &X^T_1X_1
\end{array}\right].
  4. Обобщенную обратную матрицу S^{-} определяют в виде
    S^{-}=
\left[\begin{array}{ccc}
(X^T_0X_0)^{-1}&0\\
0&0
\end{array}\right].
  5. Общее решение нормального уравнения — оценку вектора параметров определяют по формуле (11.8) или в следующем виде:
    \hat b=
\left[\begin{array}{ccc}
(X^T_0X_0)^{-1}X^T_0Y\\
0
\end{array}\right]
+
\left[\begin{array}{ccc}
0&(X^T_0X_0)^{-1}X^T_0X_1\\
0&-E_{p-k}
\end{array}\right]z.

    где E_{p-k}единичная матрица порядка (p – k).

  6. Вычисляют остаточную сумму квадратов RSS (Residual Sum of Squares):
    RSS=(Y-X\hat b)^T(Y-X\hat b).
< Лекция 10 || Лекция 11: 12 || Лекция 12 >
Мария Ястребинская
Мария Ястребинская

Добрый день. Я приступила сегодня к самостоятельному изучению курса "Моделирование систем". Хочу понять - необходимо ли отсылать мои решения практических заданий на сайт, (и если да - то где найти волшебную кнопку "Загрузить...") или практические задания остаются полностью на моей совести? (никто не проверяет, и отчётности по ним я предоставлять не обязана?)

P.S.: тьютора я не брала

алена зянтерекова
алена зянтерекова
Дмитрий Степаненко
Дмитрий Степаненко
Россия
Маржан Мукынова
Маржан Мукынова
Россия, Новосибирск