Пример одного цикла обучения НС

В качестве примера можно взять обучающую выборку:

х₁ х₂ у

1 0 2

2 1 6

4 2 16

Здесь х₁ и х₂ – входные параметры НС, у – желаемый выходной параметр.

Поскольку у аппроксимируемой функции два входных параметра и один выходной, то выбирается НС с двумя нейронами во входном слое и одним в выходном. Количество нейронов скрытого слоя примем равным двум. То есть формируется сеть вида 2-2-1 (см. рисунок 5).

Рисунок 5 – Пример НС

В качестве функции активации выбирается сигмоидная функция с коэффициентом a = 1. Начальные значения весов синаптических связей принимаются равными 0,5:

w₂₁¹ = w₂₂¹ = w₂₁² = w₂₂² = w₃₁¹ = w₃₁² = 0,5.

Поскольку исходные значения х₁ , х₂ и у не лежат в пределах [0, 1], их необходимо пронормировать, поделив, например, х₁ на 4, х₂ на 2, а у на 16. В результате получена нормированная выборка:

х₁ х₂ у

0,25 0 0,125

0,5 0,5 0,375

1 1 1

Скорость обучения принимается равной n = 0,2.

После подготовки можно приступать к обучению.

Шаг 1. На входы НС подается первый вектор входных параметров: х₁ = 0,25 и х₂ = 0. При этом у_жел = 0,125.

Выходы нейронов входного слоя: Y₁₁ = 0,25, Y₁₂ = 0.

Для скрытого слоя:

U₂₁ = w₂₁¹*Y₁₁ + w₂₁²*Y₁₂ = 0,5*0,25 + 0,5*0 = 0,125;

U₂₂ = w₂₂¹*Y₁₁ + w₂₂²*Y₁₂ = 0,5*0,25 + 0,5*0 = 0,125;

Y₂₁ = 1 / (1 + exp(-a*U₂₁)) = 1 / (1 + exp(-0,125)) = 0,5312;

Y₂₂ = 1 / (1 + exp(-a*U₂₂)) = 1 / (1 + exp(-0,125)) = 0,5312.

Для выходного слоя:

U₃₁ = w₃₁¹*Y₂₁ + w₃₁²*Y₂₂ = 0,5*0б5312 + 0,5*0б5312 = 0,5312;

Y₃₁ = 1 / (1 + exp(-a*U₃₁)) = 1 / (1 + exp(-0,5312)) = 0,6298.

Шаг 2. Величина градиента для выходного нейрона:

EI₃₁ = (Y₃₁ – y_жел)*Y₃₁*(1 – Y₃₁) = (0,6298 – 0,125)*0,6298*(1 - 0,6298) = 0,1177.

Шаг 3. Величины градиентов для скрытого слоя:

EI₂₁ = Y₂₁*(1 – Y₂₁)*[EI₃₁*w₃₁¹] = 0,5312*(1 – 0,5312)*0,1177*0,5 = 0,01466,

EI₂₂ = Y₂₂*(1 – Y₂₂)*[EI₃₁*w₃₁²] = 0,5312*(1 – 0,5312)*0,1177*0,5 = 0,01466.

Шаг 4. Коррекция весов синапсов:

w₂₁¹ = w₂₁¹ - n*Y₁₁*EI₂₁ = 0,5 – 0,2*0,25*0,01466 = 0,4993,

w₂₂¹ = w₂₂¹ - n*Y₁₁*EI₂₂ = 0,5 – 0,2*0,25*0,01466 = 0,4993,

w₂₁² = w₂₁² - n*Y₁₂*EI₂₁ = 0,5 – 0,2*0*0,01466 = 0,5,

w₂₂² = w₂₂² - n*Y₁₂*EI₂₂ = 0,5 – 0,2*0*0,01466 = 0,5,

w₃₁¹ = w₃₁¹ - n*Y₂₁*EI₃₁ = 0,5 – 0,2*0,5312*0,1177 = 0,4875,

w₃₁² = w₃₁² - n*Y₂₂*EI₃₁ = 0,5 – 0,2*0,5312*0,1177 = 0,4875.

Если при полученных весах на вход НС подать тот же вектор входных параметров, то на выходе будет у = 0,6267, что уже ближе к желаемому у_жел = 0,125. То есть данный цикл обучения приблизил ответ НС к желаемому на величину Dу = 0,6298 – 0,6267 = 0,0031.

Поскольку обучающая выборка не закончилась, то шаги 1 – 4 повторяются аналогично для следующего вектора входных параметров.