Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 12:

Рекуррентные сети на базе персептрона

< Лекция 11 || Лекция 12: 1234 || Лекция 13 >

Рекуррентная сеть Эльмана

Рекуррентная сеть Эльмана характеризуется частичной рекуррентностью в форме обратной связи между скрытым и входным слоем, реализуемой с помощью единичных элементов запаздывания z. Обобщенная структура этой сети представлена на рис. 3.

Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем совместно с внешними входами сети входной слой. Выходной слой состоит из нейронов, однонаправленно связанных только с нейронами скрытого слоя, подобно сети RMLP. Обозначим внутренний вектор возбуждения сети x (в его состав входит также единичный сигнал поляризации), состояния скрытых нейронов - v \in R^K, а выходные сигналы сети - y \in
R^M. При таких обозначениях входной вектор сети в момент t имеет форму

\begin{align*}
X(k) = [x_0(k), x_1(k), \ldots, x_N(k), v_1(k-1), v_2(k-1), \ldots, v_K(k-1)].
\end{align*}

Веса синаптических связей первого (скрытого) слоя сети обозначим w_{ij}^{(1)}, a второго (выходного) слоя - w_{ij}^{(2)}. Если взвешенную сумму i -го нейрона скрытого слоя обозначить u_i, а его выходной сигнал - v_i, то

\begin{align*}
u_i(k) = \sum_{j=0}^{N+K} w_{ij}^{(1)}x_j(k),\\
v_i(k) = f_1(u_i(k)).
\end{align*}
Структура сети Эльмана

увеличить изображение
Рис. 3. Структура сети Эльмана

Веса w_{ij}^{(1)} образуют матрицу W^{(1)} синаптических связей скрытого слоя, а f_1(u_i) - функция активации i -го нейрона этого слоя. Аналогично можно обозначить взвешенную сумму i -го нейрона выходного слоя g_i, а соответствующий ему выходной сигнал сети - y_i. Эти сигналы описываются формулами

\begin{align*}
g_i(k) = \sum_{i=0}^K w_{ij}^{(2)}v_j(k),\\
y_i(k) = f_2(g_i(k)).
\end{align*}

В свою очередь, веса w_{ij}^{(2)} образуют матрицу W^{(2)}, описывающую синаптические связи нейронов выходного слоя; f_2(g_i) - функция активации i -го нейрона выходного слоя.

< Лекция 11 || Лекция 12: 1234 || Лекция 13 >
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия