Погрешности в нейронных сетях
Кроме равномерного и пропорционального распределения среднеквадратических отклонений погрешностей по входам сумматора, может быть использовано приоритетное распределение среднеквадратических отклонений. При этом сначала назначаются среднеквадратические отклонения погрешностей для тех входов сумматора, которые наиболее значимы по какому-либо признаку, а затем оставшаяся часть среднеквадратического отклонения погрешности выходного сигнала сумматора распределяется по остальным входам равномерно или пропорционально.
Мы рассмотрели, как изменяются погрешности сигналов при прохождении через элементы сети. Предположим теперь, что не только сигналы имеют погрешности, но и все элементы сети передают приходящие к ним сигналы с некоторыми погрешностями. Пусть среднеквадратические отклонения погрешностей элементов известны и фиксированы. Выясним, как влияют собственные погрешности элементов на погрешности сигналов.
Вычислим среднеквадратические отклонения входных сигналов точки ветвления, нелинейного преобразователя и сумматора, если известны среднеквадратические отклонения выходных сигналов и собственные погрешности этих элементов.
Пусть точка ветвления имеет собственную погрешность и среднеквадратическое отклонение собственной погрешности равно
. Собственная погрешность
добавляется к каждому сигналу, выходящему из точки ветвления.
Если при обратном распространении получаем дисперсии выходных сигналов точки ветвления не равные между собой, то в качестве дисперсии входного сигнала точки ветвления, с учетом собственной погрешности, выбирается
.
Пусть среднеквадратическое отклонение собственной погрешности нелинейного преобразователя равно , а среднеквадратическое отклонение выходного сигнала нелинейного преобразователя равно
. Собственная погрешность нелинейного преобразователя
может добавляться либо к результату работы нелинейного преобразователя:
, либо к входному сигналу нелинейного преобразователя:
.
Рассмотрим оба варианта.
Пусть погрешность добавляется к результату работы нелинейного преобразователя. Рассмотрим дисперсию
![D{\rm{(}}\varphi (A + \varepsilon ) + \varepsilon_\varphi {\rm{) = }}D{\rm{(}}\varphi (A + \varepsilon ){\rm{) + }}D(\varepsilon_\varphi ){\rm{ = }}\sigma_{own}^2 {\rm{+ }}\sigma_\varphi^2 {\rm{ = }}\sigma_1^2 {\rm{.}}.](/sites/default/files/tex_cache/6973b97990e89c08e4db232b3242437d.png)
Отсюда получаем, что дисперсия непосредственно выходного сигнала нелинейного преобразователя равна
![\sigma_{own}^2 {\rm{ = }}\sigma_1^2 {\rm{- }}\sigma_\varphi^2 {\rm{.}}](/sites/default/files/tex_cache/bce508ecaf031f8a22b232785b8331c6.png)
Среднеквадратическое отклонение для входного сигнала нелинейного преобразователя вычисляется как указано выше. В качестве дисперсии выходного сигнала в формуле используется вычисленная дисперсия Среднеквадратическое отклонение погрешности входного сигнала нелинейного преобразователя будет равняться
.
Пусть теперь собственная погрешность нелинейного преобразователя добавляется к его входному сигналу: . В этом случае погрешность входного сигнала имеет математическое ожидание
![M_{\varepsilon + \varepsilon_\varphi } = \int\limits_{- \infty }^\infty {(\varepsilon + \varepsilon_\varphi )}\cdot \rho_\varepsilon d(\varepsilon + \varepsilon_\varphi ) = 0](/sites/default/files/tex_cache/4e85be9f640164b10c1ffcbd0a229581.png)
и дисперсию
![D_{\varepsilon + \varepsilon_\varphi } = \int\limits_{- \infty }^\infty {(\varepsilon + \varepsilon_\varphi - M_{\varepsilon + \varepsilon_\varphi })^2 \rho_\varepsilon d(\varepsilon + \varepsilon_\varphi ) = \sigma^2 + \sigma_\varphi^2 }.](/sites/default/files/tex_cache/9abdb072202904a6ef6b3ad699738d1b.png)
Вычислим математическое ожидание и дисперсию выходного сигнала нелинейного преобразователя, рассматривая линейное приближение .
![M_{\varphi (A + \varepsilon + \varepsilon_\varphi )}\approx \int\limits_{- \infty }^\infty {(\varphi (A) + \varphi '(A) \cdot (\varepsilon + \varepsilon_\varphi })) \cdot \rho_\varepsilon d(\varepsilon + \varepsilon_\varphi ) = \varphi (A)
.](/sites/default/files/tex_cache/b5b69417f379ebb628d3f00dbfa6bb58.png)
![\begin{array}{l}
\sigma_1^2 = D_{\varphi (A + \varepsilon + \varepsilon_\varphi )}\approx \int\limits_{- \infty }^\infty {(\varphi (A) + \varphi '(A) \cdot (\varepsilon + \varepsilon_\varphi ) - \varphi (A))^2 \rho_\varepsilon d(\varepsilon + \varepsilon_\varphi ) = }\\
{\rm{ }} = \varphi '(A)^2 (\sigma^2 + \sigma_\varphi^2 ) \\
\end{array}](/sites/default/files/tex_cache/62b73d2f604007d7f2d1abec887f84f3.png)
Отсюда получаем
![(\sigma^2 + \sigma_\varphi^2 ) = \sigma_1^2 /\varphi '(A)^2 \Rightarrow \sigma = \sqrt[{ }]{{\sigma_1^2 /\varphi '(A)^2 - \sigma_\varphi^2 }}
.](/sites/default/files/tex_cache/c7c144a4ccdb1e33a0ad0e4729f73479.png)
Перейдем к вычислению среднеквадратических отклонений входных сигналов сумматора. Пусть среднеквадратическое отклонение выходного сигнала сумматора равно , собственное среднеквадратическое отклонение погрешности сумматора равно
.
Собственная погрешность сумматора может добавляться либо к выходному сигналу сумматора:
![\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (x_i + \varepsilon_i ) + \varepsilon_\Sigma,](/sites/default/files/tex_cache/20b95f748ff7720fe6b401013be503ed.png)
![\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (x_i + \varepsilon_i + \varepsilon_\Sigma^i ),](/sites/default/files/tex_cache/268e267e8a5a44238a8328e50371e6e3.png)
![\varepsilon_\Sigma^i = \varepsilon_\Sigma /n](/sites/default/files/tex_cache/ee07460a5b749238c1d78f3784396729.png)
Пусть собственная погрешность добавляется к выходному сигналу сумматора. Вычислим среднеквадратическое отклонение погрешностей для входных сигналов сумматора. Рассмотрим для этого дисперсию
![D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i + \varepsilon_\Sigma ) = \sigma^2.](/sites/default/files/tex_cache/dd3b600cca1510412c18d42a4f1631d3.png)
Для равномерного распределения среднеквадратических отклонений предполагаем, что равны между собой.
![\begin{array}{l}
D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i + \varepsilon_\Sigma ) = D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i ) + D(\varepsilon_\Sigma ) = \\
= \mathop \Sigma \limits_{i = 1}^n \alpha_i^2 \cdot \sigma_i^2 + \sigma_\Sigma^2 \Rightarrow \sigma_i = \sqrt {\frac{{\sigma^2 - \sigma_\Sigma^2 }}{{\Sigma_{i = 1}^n \alpha_i^2 }}}\\
\end{array}](/sites/default/files/tex_cache/74d903bda1da3aa62db2a3669d54fd1b.png)
Если будем рассматривать пропорциональное распределение среднеквадратических отклонений входных сигналов сумматора, то получим
![\sigma^2 = D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i + \varepsilon_\Sigma ) = \mathop \Sigma \limits_{i = 1}^n \sigma_i^2 + \sigma_\Sigma^2 \Rightarrow \sigma_i = \sqrt {\frac{{\sigma^2 - \sigma_\Sigma^2 }}{n}}
.](/sites/default/files/tex_cache/d6e8d33f1572cdfffd26ca9d8f84b3cb.png)
Пусть теперь собственное среднеквадратическое отклонение сумматора добавляется к каждому входу сумматора:
![\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (x_i + \varepsilon_i + \varepsilon_\Sigma^i ).](/sites/default/files/tex_cache/4b84a19e6b37f6086aefd71cca1d41b7.png)
Вычислим среднеквадратическое отклонение погрешностей для входных сигналов сумматора. Рассмотрим для этого дисперсию
![D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (\varepsilon_i + \varepsilon_\Sigma^i )) = \sigma^2.](/sites/default/files/tex_cache/094c28b10175c7cc9f33027b0a713e37.png)
Для равномерного распределения среднеквадратических отклонений предполагаем, что равны между собой.
![\begin{array}{l}
D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (\varepsilon_i + \varepsilon_\Sigma^i )) = D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_i ) + D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot \varepsilon_\Sigma^i ) = \mathop \Sigma \limits_{i = 1}^n \alpha_i^2 \cdot \sigma_i^2 + \\
+ \mathop \Sigma \limits_{i = 1}^n \alpha_i^2 \cdot (\sigma_\Sigma^i )^2 \Rightarrow \sigma_i = \sqrt {\frac{{\sigma^2 - (\sigma_\Sigma^i )^2 \cdot \Sigma_{i = 1}^n \alpha_i^2 }}{{\Sigma_{i = 1}^n \alpha_i^2 }}}\\
\end{array}](/sites/default/files/tex_cache/f727d9bde357d211671ba22f0e6996fe.png)
Если будем рассматривать пропорциональное распределение среднеквадратических отклонений входных сигналов сумматора, то получим
![\begin{array}{l}
\sigma^2 = D(\mathop \Sigma \limits_{i = 1}^n \alpha_i \cdot (\varepsilon_i + \varepsilon_\Sigma^i )) = \mathop \Sigma \limits_{i = 1}^n \sigma_i^2 + \mathop \Sigma \limits_{i = 1}^n \alpha_i^2 \cdot (\sigma_\Sigma^i )^2 \Rightarrow \\
\sigma_i = \sqrt {\frac{{\sigma^2 - (\sigma_\Sigma^i )^2 \cdot \Sigma_{i = 1}^n \alpha_i^2 }}{n}}\\
\end{array}](/sites/default/files/tex_cache/67d3bdcf45700a3175aae93ba8f66239.png)
Зная, как вычисляются среднеквадратические отклонения погрешностей для всех элементов стандартного нейрона, можно вычислить среднеквадратические отклонения погрешностей сигналов для всей сети. Если заданы среднеквадратические отклонения погрешностей для выходных сигналов сети, можно вычислить среднеквадратические отклонения погрешностей для последнего слоя сети. Когда вычислены среднеквадратические отклонения погрешностей всех входных сигналов последнего слоя сети, переходим к вычислению среднеквадратических отклонений погрешностей предпоследнего слоя и так далее.
Рассмотрим пример на рис. 6.10. Пусть дана сеть с тремя нейронами входного слоя, двумя нейронами скрытого слоя и одним выходным нейроном. На рисунке показаны сигналы, проходящие по сети при данном векторе входных сигналов, и веса связей. В данном примере элементы сети не имеют собственных погрешностей. Характеристическая функция нелинейных преобразователей имеет вид: , где
- входной сигнал нелинейного преобразователя. Среднеквадратическое отклонение вектора выходных сигналов сети
равняется 0.01. Среднеквадратические отклонения погрешностей по входам сумматора вычисляются с использованием формулы для равномерного распределения среднеквадратических отклонений.
Вычислим среднеквадратические отклонения для всех сигналов сети при данном векторе входных сигналов. Все вычисленные значения в этом примере округляются до двух знаков после запятой. На рис. 6.11 показаны вычисленные среднеквадратические отклонения для данного примера.
![\sigma_1 = \frac{{\sigma_{out}}}{{|\varphi '(A)|}} = \frac{{0.01}}{{2/(2 + 0.32)^2 }} = 0.03;](/sites/default/files/tex_cache/641376083449542cf8be43d1f3c4178c.png)
![\sigma_2 = \sigma_3 = \frac{{0.03}}{{0.35^2 + 0.69^2 }} = \frac{{0.03}}{{0.77}} = 0.04;](/sites/default/files/tex_cache/0153e813824d374118f9c25c4901f338.png)
![\sigma_4 = \frac{{0.04}}{{2/(2 + 0.14)^2 }} = \frac{{0.04}}{{0.44}} = 0.08
;](/sites/default/files/tex_cache/50697ebc7d3903ad3e0d5c5f5c6d6b93.png)
![\sigma_5 = \frac{{0.04}}{{2/(2 + 1.53)^2 }} = \frac{{0.04}}{{0.16}} = 0.23
;](/sites/default/files/tex_cache/19b446b9b454217a89a7989de1a90972.png)
![\sigma_6 = \frac{{0.08}}{{0.11^2 + 0.61^2 + 0.38^2 }} = \frac{{0.08}}{{0.7}} = 0.11;](/sites/default/files/tex_cache/1c9c0d2f4a94c263d57ab61542f0b4ca.png)
![\sigma_7 = \frac{{0.23}}{{0.73^2 + 0.53^2 + 0.87^2 }} = \frac{{0.23}}{{1.25}} = 0.18;](/sites/default/files/tex_cache/59b589fa592469fc2f278faf2deeab5d.png)
![\sigma_8 = \sigma_9 = \sigma_{10} = \min \{\sigma_6 ,\sigma_7 \} = 0.11
;](/sites/default/files/tex_cache/d1f179c6cb9bd6f9d4f41f3407fc5931.png)
![\sigma_{13} = \frac{{0.11}}{{2/(2 + 6.21)^2 }} = \frac{{0.11}}{{0.03}} = 3.67
;](/sites/default/files/tex_cache/bc208a459875c046329739a8b5313792.png)
![\sigma_{14} = \frac{{3.55}}{{0.3^2 + 0.95^2 + 0.64^2 }} = \frac{{3.55}}{{1.49}} = 2.38
;](/sites/default/files/tex_cache/b2e136cbc50f7cb35d9139aaa467ea77.png)
![\sigma_{15} = \frac{{1.43}}{{0.28^2 + 0.75^2 }} = \frac{{1.43}}{{0.8}} = 1.79
;](/sites/default/files/tex_cache/40fdec845da12a8b7f4e144c2e074104.png)
![\sigma_{16} = \frac{{3.67}}{{0.54^2 + 0.41^2 + 0.28^2 }} = \frac{{3.67}}{{0.73}} = 5.03
;](/sites/default/files/tex_cache/3d83b6c3ccef976948c64c3ed17f6aee.png)
Таким образом, получены формулы для вычисления среднеквадратических отклонений погрешностей сигналов сети, в предположении, что погрешности являются независимыми случайными величинами.