Опубликован: 27.07.2006 | Доступ: свободный | Студентов: 6114 / 1483 | Оценка: 4.37 / 4.06 | Длительность: 13:49:00
ISBN: 978-5-9556-0049-9
Специальности: Программист
Лекция 15:

Алгоритмы обучения

< Лекция 14 || Лекция 15: 123456

Метод сигнального обучения Хэбба

Как мы видели, выход NET простого искусственного нейрона является взвешенной суммой его входов. Это может быть выражено следующим образом:

NET_j=\sum_i OUT_i w_{ij},

где NET_j — выход NET нейрона j, OUT_i — выход нейрона i, w_{ij} — вес связи нейрона i с нейроном j.

Можно показать, что в этом случае линейная многослойная сеть не является более мощной, чем однослойная сеть; рассматриваемые возможности сети могут быть улучшены только введением нелинейности в передаточную функцию нейрона. Говорят, что сеть, использующая сигмоидальную функцию активации и метод обучения Хэбба, обучается по сигнальному методу Хэбба. В этом случае уравнение Хэбба модифицируется следующим образом:

OUT_i=\frac{1}{1+\exp(-NET_i)}=F(NET_i),\\
w_{ij}(t+1)=w_{ij}(t)+OUT_i OUT_j,

где w_{ij}(t) — сила синапса от нейрона i к нейрону j в момент времени t, OUT_i — выходной уровень пресинаптического нейрона равный F(NET_i), OUT_j — выходной уровень постсинаптического нейрона, равный F(NET).

Метод дифференциального обучения Хэбба

Метод сигнального обучения Хэбба предполагает вычисление свертки предыдущих изменений выходов для определения изменения весов. Данный же метод, называемый методом дифференциального обучения Хэбба, использует следующее равенство:

w_{ij}(t+1)=w_{ij}(t)+[OUT_i(t)-OUT_i(t-1)][OUT_j(t)-OUT_j(t-1)],

где w_{ij}(t) — сила синапса от нейрона i к нейрону j в момент времени t, OUT_i(t) — выходной уровень пресинаптического нейрона в момент времени t, OUT_j(t) — выходной уровень постсинаптического нейрона в момент времени t.

Входные и выходные звезды

Много общих идей, используемых в искусственных нейронных сетях, прослеживаются в работах С. Гроссберга; в качестве примера можно указать конфигурации входных и выходных звезд, используемые во многих сетевых парадигмах. Входная звезда, как показано на рис. 15.1, состоит из нейрона, на который подается группа входов через синаптические веса. Выходная звезда, показанная на рис. 15.2, является нейроном, управляющим группой весов. Входные и выходные звезды могут быть взаимно соединены в сети любой сложности; Гроссберг рассматривает их как модель определенных биологических функций. Вид звезды определяет ее название, однако, звезды обычно изображаются в сети несколько иначе.


Рис. 15.1.

Рис. 15.2.
< Лекция 14 || Лекция 15: 123456