Непрерывные сети Хопфилда

Системы с непрерывной активационной функцией F точнее моделируют биологический нейрон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е. wij = wji и wii=0, для всех i и j.

Если l велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба. С уменьшением l устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения l к нулю.

Статистические сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении (14), то возникает система, имитирующая отжиг. Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

Ek = NETk - Qk, (18)

где

NETk - выход NET нейрона k;

Qk - порог нейрона k,

и

pk = 1/[1+exp(-dEk/T)], (19)

где

Т - искусственная температура.

В стадии функционирования искусственной температуре присваивается большое значение, нейроны устанавливаются в начальном состоянии, определяемом входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

Приписать состоянию каждого нейрона с вероятностью pk значение единица, а с вероятностью (1 - pk) - нуль.

Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

Алгоритм обучения

Для обучения сети Хопфилда могут использоваться несколько алгоритмов.

Базовое обучающее правило для сети Хопфилда имеет достаточно простой вид:

Dwij = (2xi - 1)(2xj - 1), (20)

где

wij - вес соединения между j-м и i-м процессорными элементами;

xi - выход текущего нейрона;

xj - вход нейрона;

xi и xj могут принимать значения только 0 или 1.

Правило обучения Хебба определяет формирование синаптических весов в сети следующим образом:

Wij = ∑Xi^k Xj^k, i≠j,

0, если i=j, i=1…N, j=1…N,

где M –количество векторов-образцов;

N – размерность входного сигнала;

Xjk – i-я компонента запоминаемого входного вектора k.

Приведенная ниже таблица демонстрирует формирование весовых коэффициентов в сети Хопфилда при использовании различных правил обучения.

Xi (выход)
Xj (вход)
Правило Хебба
Правило Хопфилда		-1	-1
Правило Анти-Хебб			-1