Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 14:

Адаптивная резонансная теория (АРТ)

4. Поиск.

а) если критерий сходства не выполняется, схема сброса вырабатывает сигнал G3_{m0}=1, который тормозит нейрон m_0 в слое распознавания. Сигнал G3_{m0}=1 остается равным 1 до окончания данной классификации. Выход нейрона m_0 становится равным 0, а, следовательно, и весь вектор R=0. Сигнал G1 становится равным нулю и вектор x снова проходит через слой сравнения без изменений, вызывая новый цикл поиска (шаги 2в-3б), пока критерий сходства не будет удовлетворен.

При соответствующем выборе начальных значений весов B поиск всегда закончится на нераспределенном нейроне слоя распознавания. Для него будет выполнен критерий сходства, т.к. все веса T равны 1. Если все нейроны выделены и критерий сходства не выполняется, следует аварийная остановка либо расширение сети введением нового нейрона в слое распознавания и новых входов в слое сравнения.

5. Обучение.

Независимо от того, найден ли на этапе поиска распределенный нейрон или нераспределенный, обучение протекает одинаково. Корректируются лишь веса выигравшего нейрона m_0 в слое распознавания и веса T_{m0}^n для всех n в слое сравнения.

Различают быстрое и медленное обучение. При быстром обучении коррекции весов имеют вид:

\begin{align*}
B_n^{m0} = LC_n/(L+ \sum_n C_n - 1)\equiv \Delta B_n^{m0},
\end{align*}

где L >1 - константа.

Веса в слое сравнения - двоичные: T_{m0}^n.

В результате такого алгоритма обучения ядра T изменяются, несущественные компоненты обнуляются в процессе обучения. Если какая-то компонента вектора T^n стала нулевой на какой-то итерации обучения, она никогда не вернется к единице. В этом проявляется асимметрия АРТ по отношению к значениям 0 и 1. Эта асимметрия имеет серьезные отрицательные последствия для модели, приводя к деградации ядер классов в случае зашумленных входных векторов.

Медленное обучение меняет ядра малыми коррекциями:

\begin{align*}
&B_n^{m0}\longrightarrow \beta \Delta B_n^{m0} + (1 - \beta ) B_n^{m0},\\
&T_{m0}^n \longrightarrow \beta C_n + (1 - \beta ) T_{m0}^n,
\end{align*}

где \beta мало и характеризует скорость обучения.

В результате каждой итерации обучения ядра меняются незначительно.

Видно, что веса B в любой момент времени могут быть однозначно рассчитаны через веса T, таким образом, кодирование информации о ядрах в АРТ в рассмотренной модели является избыточным в смысле расхода памяти.

Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия