НОУ ИНТУИТ | Математические методы распознавания образов. Лекция 3: Линейный классификатор. Алгоритм персептрона

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Опубликован: 30.04.2008 | Уровень: специалист | Доступ: платный | ВУЗ: Московский государственный университет имени М.В.Ломоносова

|

Вам нравится? Нравится 22 студентам

| Поделиться |

Поддержать программу

Аннотация: Предметом данной лекции является рассмотрение линейного классификатора и алгоритма персептрона. Приведены основные определения и теоремы, а также практические примеры

3.1. Линейная дискриминантная функция

Рассмотрим задачу построения линейной разделяющей гиперповерхности. Главным достоинством линейного классификатора является его простота и вычислительная эффективность.

Рассмотрим линейную дискриминантную функцию: g(x)=W^T x+W_0 , где $W^T=(W_1,W_2,\ldots,W_l)^T$ – весовой вектор, W_0 – порог. Поведение решения задается уравнением g(x)=0 . Пусть X_1 и X_2 – два конечных множества векторов признаков в евклидовом пространстве, относящихся к классу $\Omega_1$ и $\Omega_2$ соответственно, т.е X_1 принадлежит классу $\Omega_1$ при g(x)>0 , а X_2 принадлежит классу $\Omega_2$ при g(x)<0 .

Задача состоит в том, чтобы:

установить разделимость этих множеств;
найти разделяющую гиперплоскость.

Рассмотрим сначала в качестве примера двумерную задачу, когда образы представляются точками на плоскости.

Определение. Множество, содержащее отрезок, соединяющий две произвольные внутренние точки, называется выпуклым.

Определение. Выпуклая оболочка – это минимальное выпуклое множество, содержащее данное.

Утверждение 3.1. Два множества на плоскости линейно разделимы тогда и только тогда, когда их выпуклые оболочки не пересекаются.

Из этого утверждения получаем следующее правило проверки разделимости множеств на плоскости:

Построить выпуклые оболочки.
Проверить пересечение выпуклых оболочек. Если они не пересекаются, то множества разделимы.

Очевидно и правило, по которому можно найти разделяющую прямую:

Найти ближайшую пару точек в выпуклых оболочках обоих множеств.
Построить срединный перпендикуляр к отрезку, соединяющему эти точки. Этот перпендикуляр и будет разделяющей прямой.

Пусть размерность вектора признаков и вектора коэффициентов равна . Рассмотрим "пополненные" вектора X', W' следующего вида: (W')^T=(W^T,W_0) – пополненный весовой вектор, (X')^T=(X^T,1) – пополненный вектор признаков. Рассмотрим также в (l+1) -мерном пространстве однородную линейную функцию $g'(x)=\left((W')^T,(X')^T\right)=\sum_{i=0}^l W_i\cdot x_i$ .

Очевидно следующее

Утверждение 3.2. Множества X_1 и X_2 линейно разделимы в пространстве R^l дискриминантной функцией g(x)=W^T x+W_0 тогда и только тогда, когда они разделимы в пополненном пространстве R^l+1 однородной дискриминантной функцией $g'(x)=\left((W')^T,(X')^T\right)=\sum_{i=0}^l W_i\cdot x_i$ .

Далее будем рассматривать дискриминантные функции и вектора в пополненном пространстве.

Определение. Множество $\overline{X}=-X$ называется симметричным множеством к множеству .

Утверждение 3.3. Два замкнутых множества X_1 и X_2 разделимы тогда и только тогда, когда выпуклая оболочка множества $X_1\bigcup\overline{X}_2$ не содержит начала координат.

Доказательство. Пусть множества X_1 и X_2 разделимы. Тогда существует линейная функция g(x) такая, что g(x)>0 при $x\in X_1$ и g(x)<0 при $x\in X_2$ . Рассмотрим множество $X=X_1\bigcup\overline{X}_2$ , тогда g(x)>0 при $x\in X$ . Следовательно, g(x)>0 для выпуклой линейной комбинации из , а это означает, что $O\notin convX$ , т.к. – замкнутое. Здесь обозначает начало координат.

Пусть $O\notin convX$ , и пусть $\widetilde{x}$ – ближайшая к началу координат точка из convX . Плоскость (W,x)=0 с направляющим вектором $W=\widetilde{x}$ не пересекает convX , а, значит, (W,x)>0 на $x\in X$ . Следовательно, (W,x)<0 на $x\in X_2$ .