НОУ ИНТУИТ | Математические методы распознавания образов. Лекция 2: Классификация на основе байесовской теории решений

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Московский государственный университет имени М.В.Ломоносова

Опубликован: 30.04.2008 | Доступ: свободный | Студентов: 1617 / 252 | Оценка: 4.24 / 3.92 | Длительность: 14:56:00

Специальности: Математик

Теги: beta, IWR, recognition, алгоритмы, базисными векторами, выпуклая оболочка, выходной нейрон, направляющий вектор, обучение, поиск, полиэдр, пространство признаков, процедуры, разработка, сложность, собственный вектор, теория, эмпирический риск

|

Вам нравится? Нравится 22 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

2.6. Классификаторы по минимуму расстояния

Будем рассматривать равновероятные классы с одинаковой матрицей ковариации. Тогда $\Sigma_1=\Sigma_2=\ldots=\sigma_n=\Sigma$ и выражение

$L_i(x)=-\frac12(x-\mu_i)\Sigma_i^{-1}(x-\mu_i)^T+\ln P(\Omega_i)+C_i$

примет вид

$L_i(x)=-\frac12(x-\mu_i)\Sigma^{-1}(x-\mu_i)^T$

(т.к. логарифм и константа сократятся).

6.1. Классификатор по минимуму расстояния с диагональной матрицей ковариации. Рассмотрим случай, когда матрица $\Sigma$ диагональная с одинаковыми элементами: $\Sigma= \begin{pmatrix} \sigma^2 & 0 \\ 0 & \sigma^2 \end{pmatrix}$ . Тогда максимизация L_i(x) влечет минимизацию евклидового расстояния, определяемое выражением $d_E=\|x-\mu_i\|$ . В данном случае будет считаться, что объект относится к данному классу, если он близок в смысле евклидового расстояния.

6.2. Классификатор по минимуму расстояния с недиагональной матрицей ковариации. В этом случае максимизация L_i(x) влечет минимизацию расстояния Махалонобиса, определяемого выражением $d_M=\left((x-\mu_i)^T\Sigma^{-1}(x-\mu_i)\right)^{1\!/2}$ .

Т.к. матрица ковариации является симметрической, ее можно представить в виде:

$\Sigma=\Phi\cdot\Lambda\cdot\Phi^T,$

где $\Phi^T=\Phi^{-1}$ , а $\Lambda$ – диагональная матрица с собственными значениями матрицы $\Sigma$ на диагонали. Матрица $\Phi$ имеет столбцы, соответствующие собственным векторам матрицы $\Sigma$ :

$\Phi=(\nu_1,\nu_2,\ldots,\nu_l)$

Таким образом, получаем линию равноудаленных точек

:

$(x-\mu_i^T)\cdot\Phi\cdot\Lambda^{-1}\Phi^T(x-\mu_i)=C^2$

Пусть $x'=\Phi^T x$ . Тогда координатами

являются $\nu_k^T x,\; k=1,2,\ldots,l$ , т.е. проекции

на собственные вектора. Другими словами, мы получили координаты в новой системе, у которой оси определяются собственными векторами $\nu_k x,\; k=1,2,\ldots,l$ . Тогда последнее уравнение преобразуется в уравнение эллипсоида в новой системе координат:

$\frac{\left(x'_1-\mu'_{i1}\right)^2}{\lambda_1}+ \frac{\left(x'_2-\mu'_{i2}\right)^2}{\lambda_2}+ \ldots+ \frac{\left(x'_l-\mu'_{il}\right)^2}{\lambda_l}=C^2$

При l=2 центр эллипса находится в точке $\mu_i=(\mu_{i1},\mu_{i2})$ , а главные оси лежат по собственным векторам и имеют длины $2\sqrt{\lambda_1}C$ и $2\sqrt{\lambda_1}C$ соответственно.

Пример. Рассмотрим двумерный двухклассовый случай классификации двух нормально распределенных векторов с ковариационной матрицей $\Sigma= \begin{pmatrix}1.1 & 0.3 \\ 0.3 & 1.9 \end{pmatrix}$ и средними значениями $\mu_1=(0,0)^T$ и $\mu_2=(3,3)^T$ .

Найдем $\Sigma^{-1}$ :

$\begin{gathered} |\Sigma|-1.1\cdot 1.9-0.3^2=2.09-0.09=2 \\ \Sigma^{-1}=\frac12 \begin{pmatrix} 1.9 & -0.3 \\ -0.3 & 1.1 \end{pmatrix} = \begin{pmatrix} 0.95 & -0.15 \\ -0.15 & 0.55 \end{pmatrix} \end{gathered}$

Классифицируем вектор 1.2,2.2 . Для этого посчитаем расстояние Махалонобиса:

$\begin{gathered} d_m^2(\mu_1,x)=(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)= \\ =(1,2.2) \begin{pmatrix} 0.95 & -0.15 \\ -0.15 & 0.55 \end{pmatrix} \begin{pmatrix} 1 \\ 2.2 \end{pmatrix} =\\ =(0.95-0.33)+(-0.15+1.21)\cdot 2.2=\\ =0.57+1\cdot 0.6 \cdot 2.2=0.57+2.332=2.952\\ d_m^2(\mu_2,x)=(x-\mu_2)^T\Sigma^{-1}(x-\mu_2)= \\ =(-1,-0.8) \begin{pmatrix} 0.95 & -0.15 \\ -0.15 & 0.55 \end{pmatrix} \begin{pmatrix} -2 \\ -0.8 \end{pmatrix} =\\ =(-1.9+0.12)-(0.3-0.44)\cdot 0.8=\\ =3.56+0.112=3.672 \end{gathered}$

Таким образом, хотя сама точка (1.0,2.2)

по евклидову расстоянию ближе к точке (0,0)

, чем к точке (3,3)

, но по расстоянию Махалонобиса она ближе к (3,3)

.

Теперь вычислим главные оси эллипса с центром в точке (0,0) . Для этого найдем собственные значения:

$\begin{gathered} \begin{vmatrix} 1.1-\lambda & 0.3 \\ 0.3 & 1.9-\lambda \end{vmatrix} =2.09-3\lambda+\lambda^2-0.09=\lambda^2-3\lambda+2=0 \\ \lambda_1=1,\;\lambda_2=2. \end{gathered}$

Тогда собственные вектора (и направление главных осей эллипса) будут иметь вид:

$V_1=\left(\frac{3}{\sqrt{10}},\frac{-1}{\sqrt{10}}\right)^T,\;V_2=\left(\frac{1}{\sqrt{10}},\frac{3}{\sqrt{10}}\right).$

Дальше >>

Авторизоваться

Математические методы распознавания образов

Классификация на основе байесовской теории решений

2.6. Классификаторы по минимуму расстояния

Вопросы и ответы