Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 3:

Задача линейного разделения двух классов

< Лекция 2 || Лекция 3: 123 || Лекция 4 >

Обучение по всему задачнику

Построим обучающую выборку

\begin{align*}
 (V^1, \ldots, V^n,V^{n+1}, \ldots, V^{n+m}) = (X^1, \ldots, X^n,- Y^1, \ldots, - Y^m).
\end{align*}

В обучающей выборке выделяются все V_i, i{\in} (1,\ldots,n,{n{+}1},
\ldots, {n{+}m}), для которых не выполняется неравенство (V^i,w) > 0, где wвектор весовых коэффициентов нейрона. Обозначим это множество через Err. Вектор w модифицируется только после проверки всей обучающей выборки:

\begin{align*}
 w = w + \alpha \sum_{V^{i}\in Err} V^{i}.
\end{align*}

Не требуется хранить все множество Err - достаточно накапливать сумму тех V^i, на которых персептрон ошибается:

\begin{align*}
 \Delta w = w + \alpha\sum_{V^{i}\in Err}V^{i}.
\end{align*}

Как показывают испытания, обучение по всему задачнику, как правило, сходится быстрее, чем обучение по отдельным примерам.

Промежуточный вариант: обучение по страницам

Обучающее множество разбивается на подмножества (страницы) и задается последовательность прохождения страниц: столько-то циклов по первой странице, потом столько-то по второй и т. д. Коррекция вектора w проводится после прохождения страницы. Задачник разбивается на страницы по различным эвристическим правилам, например, по правилу "от простого к сложному". Как показывает практика, чаще всего наилучшим является обучение по всему задачнику, иногда (при большом задачнике) - обучение по страницам, размеры которых определяются объемом доступной оперативной памяти.

Геометрическая интерпретация линейного разделения классов

Пусть в нейроне в качестве функции активации используется ступенчатая функция (см. формулу (1) Лекции 2). Линейное разделяющее правило делит входное пространство на две части гиперплоскостью, классифицируя входные векторы как относящиеся к 1-му классу (выходной сигнал - 1) или 2-му классу (выходной сигнал - 0). Критическое условие классификации (уравнение разделяющей гиперплоскости)

(w,x) =  \sum_{i=0}^{N} w_i x_i = 0

В { N }-мерном пространстве (пространстве входных сигналов) разделяющая гиперплоскость перпендикулярна вектору w' = (w_1, \ldots, w_N). Вектор входных сигналов x'=(x_1, \ldots, x_N) дает выход 1, если его проекция x_w' = (x',w')/||w'|| на вектор w' больше, чем расстояние -w_0/||w'|| от нуля до гиперплоскости. В N+1 -мерном (расширенном) пространстве гиперплоскость, описываемая уравнением (w,x)=0, ортогональна вектору w и проходит через начало координат пространства признаков (образов).

Пример

В двухмерном пространстве входных сигналов уравнение гиперплоскости имеет вид

w_0 + w_1x_1 + w_2x_2 = 0.

При w_1 = w_2 = 1 и w_0 = -1.5 получаем уравнение {x_1 + x_2 - 1,5 = 0} гиперплоскости, которая представлена на рис.1 пунктирной линией, пересекающей оси координат в точках (1.5, 0) и (0, 1.5) соответственно. Здесь: w=(1,1) — нормаль к разделяющей гиперплоскости; Pвектор, относящийся к первому классу, поскольку проекция (w,P) вектора P на нормаль w больше -w_0/||w|| ; Qвектор, относящийся ко второму классу, поскольку (w,Q) <  -
w_0/||w||.


Рис. 1.
< Лекция 2 || Лекция 3: 123 || Лекция 4 >
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия