Россия, Москва |
Рекуррентные сети на базе персептрона
Рекуррентная сеть Эльмана
Рекуррентная сеть Эльмана характеризуется частичной рекуррентностью в форме обратной связи между скрытым и входным слоем, реализуемой с помощью единичных элементов запаздывания . Обобщенная структура этой сети представлена на рис. 3.
Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем совместно с внешними входами сети входной слой. Выходной слой состоит из нейронов, однонаправленно связанных только с нейронами скрытого слоя, подобно сети RMLP. Обозначим внутренний вектор возбуждения сети (в его состав входит также единичный сигнал поляризации), состояния скрытых нейронов - , а выходные сигналы сети - . При таких обозначениях входной вектор сети в момент имеет форму
Веса синаптических связей первого (скрытого) слоя сети обозначим , a второго (выходного) слоя - . Если взвешенную сумму -го нейрона скрытого слоя обозначить , а его выходной сигнал - , то
Веса образуют матрицу синаптических связей скрытого слоя, а - функция активации -го нейрона этого слоя. Аналогично можно обозначить взвешенную сумму -го нейрона выходного слоя , а соответствующий ему выходной сигнал сети - . Эти сигналы описываются формулами
В свою очередь, веса образуют матрицу , описывающую синаптические связи нейронов выходного слоя; - функция активации -го нейрона выходного слоя.