Нейронные сети Хопфилда и Хэмминга
Устойчивость
Как и в других сетях, веса между слоями в этой сети могут
рассматриваться в виде матрицы 
. Сеть с обратными связями
является устойчивой, если ее матрица симметрична и имеет нули на главной
диагонали, т. е. если 
и 
для всех 
.
Устойчивость такой сети может быть доказана с помощью элегантного математического метода. Допустим, что найдена функция, которая всегда убывает при изменении состояния сети. В конце концов, эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Такая функция, называемая функцией Ляпунова, для рассматриваемых сетей с обратными связями может быть введена следующим образом:
где 
— искусственная энергия сети; 
— вес
от выхода нейрона к входу нейрона 
; 
— выход
нейрона ; 
— внешний
вход нейрона ; 
— порог нейрона .
Изменение энергии , вызванное изменением состояния -нейрона,
есть
![\delta E=\left[\sum_{i\ne j}(w_{ij}OUT_i)+I_j-T_j\right]\delta OUT_j=
-[NET_j-T_j]\delta OUT_j,](/sites/default/files/tex_cache/a3594eee04c77473290daf089a24ec45.png)
где 
— изменение выхода -го
нейрона.
Допустим, что величина NET нейрона больше порога. Тогда
выражение в скобках будет положительным, а из данных уравнений следует,
что выход нейрона должен измениться в положительную сторону (или
остаться без изменения). Это значит, что может быть
только
положительным или нулем и 
должно быть отрицательным.
Следовательно, энергия сети должна либо уменьшиться, либо остаться без
изменения.
Далее, допустим, что величина 
меньше порога. Тогда величина 
может быть только отрицательной или нулем.
Следовательно,
опять энергия должна уменьшиться или остаться без изменения.
И окончательно, если величина равна порогу, 
равна
нулю и энергия остается без изменения.
Мы показали, что любое изменение состояния нейрона либо уменьшит энергию, либо оставит ее без изменения. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекратить изменение. По определению такая сеть является устойчивой.
Симметрия сети является достаточным, но не необходимым условием для устойчивости системы. Имеется много устойчивых систем (например, все сети прямого действия), которые ему не удовлетворяют. Можно продемонстрировать примеры, в которых незначительное отклонение от симметрии будет приводить к непрерывным осцилляциям. Однако приближенной симметрии обычно достаточно для устойчивости систем.