Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 2:

Модели нейронов

< Лекция 1 || Лекция 2: 123456 || Лекция 3 >

Нейроны типа WTA

Нейроны типа WTA (Winner Takes All — "Победитель получает все") имеют входной модуль в виде адаптивного сумматора. Выходной сигнал i -го сумматора определяется по формуле

\begin{align*}
 u_i = \sum_{j=0}^N w_{ij}x_j.
\end{align*}

По результатам сравнения сигналов {u_i, i=1,2,\ldots,N } отдельных нейронов победителем признается нейрон, у которого u_i оказался наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные (проигравшие) нейроны переходят в состояние 0.

Для обучения нейронов WTA учитель не требуется. На начальном этапе случайным образом выбираются весовые коэффициенты w_{ij} каждого нейрона, нормализуемые относительно 1 по формуле

w_{ij} \leftarrow w_{ij}/(w_{i1}^2+w_{i2}^2+\ldots+w_{iN}^2)^{1/2}.

После подачи входного вектора x, компоненты которого нормализованы по формуле

x_{ij} \leftarrow x_{ij}/(x_{i1}^2+x_{i2}^2+\ldots+x_{iN}^2)^{1/2},

определяется победитель этапа. Победитель переходит в состояние 1, что позволяет произвести уточнение весов его входных линий w_{ij} по правилу

w_{ij}(t+1) = w_{ij}(t)+ \alpha [x - w_{ij}(t)].

Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения их весовых коэффициентов.

Выходной сигнал i -го нейрона может быть описан векторным отношением

\begin{align*}
 u_i = w_i^T x = ||w_i||||x|| \cos \varphi_i.
\end{align*}

Поскольку ||w_i||=||x||=1, значение u_i определяется углом между векторами x и w_i, u_i = cos \varphi_i. Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обучающему вектору x. В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям текущего обучающего вектора x.

Следствием конкуренции нейронов становится самоорганизация процесса обучения. Нейроны уточняют свои веса таким образом, что при предъявлении группы близких по значениям входных векторов победителем всегда оказывается один и тот же нейрон. Системы такого типа чаще всего применяются для классификации векторов.

Кубические модели нейронов

Вектор x входных двоичных сигналов рассматривается как адрес ячейки памяти, содержимое которой равно 0 или 1. Для размерности N вектора x существует 2^N возможных адресов.

Можно рассматривать ячейки памяти, как вершины N -мерного гиперкуба. Ячейки памяти получают значения независимо друг от друга. Полезно рассматривать ячейки памяти как содержащие поляризованные двоичные значения \pm 1. Тогда работа кубического модуля описывается следующим образом.

Двоичный вход x используется как адрес памяти, поляризованная двоичная величина считывается и конвертируется в неполяризованную форму функцией h (см. формулу 1). Обозначим значения по адресу x через S_\chi, так что y = h(S_\chi). Такие модули мы будем называть кубическими, чтобы подчеркнуть геометрическое представление множества адресов значений активации как множество вершин гиперкуба.

< Лекция 1 || Лекция 2: 123456 || Лекция 3 >
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия