Московский государственный университет имени М.В.Ломоносова
Опубликован: 30.04.2008 | Доступ: свободный | Студентов: 1613 / 248 | Оценка: 4.24 / 3.92 | Длительность: 14:56:00
Специальности: Математик
Лекция 2:

Классификация на основе байесовской теории решений

< Лекция 1 || Лекция 2: 12345 || Лекция 3 >

2.6. Классификаторы по минимуму расстояния

Будем рассматривать равновероятные классы с одинаковой матрицей ковариации. Тогда \Sigma_1=\Sigma_2=\ldots=\sigma_n=\Sigma и выражение

L_i(x)=-\frac12(x-\mu_i)\Sigma_i^{-1}(x-\mu_i)^T+\ln P(\Omega_i)+C_i
примет вид
L_i(x)=-\frac12(x-\mu_i)\Sigma^{-1}(x-\mu_i)^T
(т.к. логарифм и константа сократятся).

6.1. Классификатор по минимуму расстояния с диагональной матрицей ковариации. Рассмотрим случай, когда матрица \Sigma диагональная с одинаковыми элементами: \Sigma=
\begin{pmatrix}
\sigma^2 & 0 \\
0 & \sigma^2
\end{pmatrix}
. Тогда максимизация L_i(x) влечет минимизацию евклидового расстояния, определяемое выражением d_E=\|x-\mu_i\|. В данном случае будет считаться, что объект относится к данному классу, если он близок в смысле евклидового расстояния.

6.2. Классификатор по минимуму расстояния с недиагональной матрицей ковариации. В этом случае максимизация L_i(x) влечет минимизацию расстояния Махалонобиса, определяемого выражением d_M=\left((x-\mu_i)^T\Sigma^{-1}(x-\mu_i)\right)^{1\!/2}.

Т.к. матрица ковариации является симметрической, ее можно представить в виде:

\Sigma=\Phi\cdot\Lambda\cdot\Phi^T,
где \Phi^T=\Phi^{-1}, а \Lambda – диагональная матрица с собственными значениями матрицы \Sigma на диагонали. Матрица \Phi имеет столбцы, соответствующие собственным векторам матрицы \Sigma:
\Phi=(\nu_1,\nu_2,\ldots,\nu_l)
Таким образом, получаем линию равноудаленных точек x:
(x-\mu_i^T)\cdot\Phi\cdot\Lambda^{-1}\Phi^T(x-\mu_i)=C^2
Пусть x'=\Phi^T x. Тогда координатами x' являются \nu_k^T x,\; k=1,2,\ldots,l, т.е. проекции x на собственные вектора. Другими словами, мы получили координаты в новой системе, у которой оси определяются собственными векторами \nu_k x,\; k=1,2,\ldots,l. Тогда последнее уравнение преобразуется в уравнение эллипсоида в новой системе координат:
\frac{\left(x'_1-\mu'_{i1}\right)^2}{\lambda_1}+
\frac{\left(x'_2-\mu'_{i2}\right)^2}{\lambda_2}+
\ldots+
\frac{\left(x'_l-\mu'_{il}\right)^2}{\lambda_l}=C^2

При l=2 центр эллипса находится в точке \mu_i=(\mu_{i1},\mu_{i2}), а главные оси лежат по собственным векторам и имеют длины 2\sqrt{\lambda_1}C и 2\sqrt{\lambda_1}C соответственно.

Пример. Рассмотрим двумерный двухклассовый случай классификации двух нормально распределенных векторов с ковариационной матрицей \Sigma=
\begin{pmatrix}1.1 & 0.3 \\
0.3 & 1.9
\end{pmatrix} и средними значениями \mu_1=(0,0)^T и \mu_2=(3,3)^T.

Найдем \Sigma^{-1}:

\begin{gathered}
|\Sigma|-1.1\cdot 1.9-0.3^2=2.09-0.09=2 \\
\Sigma^{-1}=\frac12
\begin{pmatrix}
1.9 & -0.3 \\
-0.3 & 1.1
\end{pmatrix}
=
\begin{pmatrix}
0.95 & -0.15 \\
-0.15 & 0.55
\end{pmatrix}
\end{gathered}

Классифицируем вектор 1.2,2.2. Для этого посчитаем расстояние Махалонобиса:

\begin{gathered}
d_m^2(\mu_1,x)=(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)= \\
=(1,2.2)
\begin{pmatrix}
0.95 & -0.15 \\
-0.15 & 0.55
\end{pmatrix}
\begin{pmatrix}
1 \\ 2.2
\end{pmatrix}
=\\
=(0.95-0.33)+(-0.15+1.21)\cdot 2.2=\\
=0.57+1\cdot 0.6 \cdot 2.2=0.57+2.332=2.952\\
d_m^2(\mu_2,x)=(x-\mu_2)^T\Sigma^{-1}(x-\mu_2)= \\
=(-1,-0.8)
\begin{pmatrix}
0.95 & -0.15 \\
-0.15 & 0.55
\end{pmatrix}
\begin{pmatrix}
-2 \\ -0.8
\end{pmatrix}
=\\
=(-1.9+0.12)-(0.3-0.44)\cdot 0.8=\\
=3.56+0.112=3.672
\end{gathered}
Таким образом, хотя сама точка (1.0,2.2) по евклидову расстоянию ближе к точке (0,0), чем к точке (3,3), но по расстоянию Махалонобиса она ближе к (3,3).

Теперь вычислим главные оси эллипса с центром в точке (0,0). Для этого найдем собственные значения:

\begin{gathered}
\begin{vmatrix}
1.1-\lambda & 0.3 \\
0.3 & 1.9-\lambda
\end{vmatrix}
=2.09-3\lambda+\lambda^2-0.09=\lambda^2-3\lambda+2=0 \\
\lambda_1=1,\;\lambda_2=2.
\end{gathered}

Тогда собственные вектора (и направление главных осей эллипса) будут иметь вид:

V_1=\left(\frac{3}{\sqrt{10}},\frac{-1}{\sqrt{10}}\right)^T,\;V_2=\left(\frac{1}{\sqrt{10}},\frac{3}{\sqrt{10}}\right).

< Лекция 1 || Лекция 2: 12345 || Лекция 3 >