Россия, Москва |
Рекуррентные сети на базе персептрона
Сеть RTRN
Среди рекуррентных сетей особого внимания заслуживает сеть типа RTRN (англ.: Real Time Recurrent Network), предложенная Р.Вильямсом и Д.Зипсером и предназначенная для обработки сигналов в реальном времени. Сеть RTRN - частный случай сети Эльмана.
Обобщенная структура сети представлена на рис. 4. Сеть содержит входных узлов, скрытых нейронов и соответствующих им узлов контекстного слоя. Из скрытых нейронов только составляют выход сети. Обозначим взвешенную сумму -го нейрона скрытого слоя , а выход этого нейрона - . Вектор и смещенный (задержанный) на один цикл вектор образуют расширенный вектор активации , возбуждающий нейроны сети:
После описания входного вектора сети в момент можно определить состояние всех нейронов согласно зависимостям:
( 2) |
( 3) |
причем обозначает непрерывную функцию активации нейрона (как правило, сигмоидальную). На рис. 4 видно, что сеть RTRN представляет собой частный случай сети Эльмана, в которой веса выходного слоя постоянны и равны дельте Кронекера, т.е. для или для . В этом случае можно применять алгоритм обучения Вильяма-Зипсера.
1. Выбрать случайные начальные значения весов сети, составляющих матрицу и равномерно распределенных в заданном интервале (обычно в диапазоне от до ).
2. Рассчитать состояние всех K нейронов для очередного момента с использованием формул (1) и (2). На этой основе можно определить входной вектор , возбуждающий нейроны в момент .
3. Рассчитать значения
4. Уточнить значения весов по алгоритму наискорейшего спуска согласно формуле
для и .
Шаги (2-4) повторять вплоть до стабилизации значений всех весов сети.