Возможности нейронных сетей
А теперь - теорема Колмогорова, завершившая серию исследований для непрерывных функций:
Каждая непрерывная функция n переменных, заданная на единичном кубе n -мерного пространства, представима в виде
![]() |
( 1) |
где функции непрерывны, а функции
, кроме того, еще и стандартны, т.е. не зависят от выбора функции f.
В частности, каждая непрерывная функция двух переменных x, y представима в виде
![]() |
( 2) |
Доказательство настолько просто, изящно и поучительно, что мы приведем его практически полностью для случая n=2, следуя изложению В.И.Арнольда [1.5]. Возможность представления (2) доказывается в несколько этапов.
1. "Внутренние" функции и
представления (2) совершенно не зависят от разлагаемой функции
.
Для определения этих функций нам понадобятся некоторые предварительные построения. Рассмотрим изображенный на рис. 1.8 "город" - систему одинаковых "кварталов" (непересекающихся замкнутых квадратов), разделенных узкими "улицами" одной и той же ширины. Уменьшим гомотетично наш "город" в раз; за центр гомотетии можно принять, например, точку
- мы получим новый" город", который будем называть "городом ранга 2". "Город ранга 3" точно также получается из "города ранга 2" гомотетичным уменьшением с коэффициентом гомотетии
; "город ранга 4" получается гомотетичным уменьшением в
раз "города ранга 3" и т.д. Вообще "город ранга
" получается из исходного "города" (который мы будем называть "городом первого ранга") гомотетичным уменьшением в
раз (с центром гомотетии в
; впрочем, выбор центра гомотетии не существенен для дальнейшего).
Построенную систему "городов" мы назовем 1 -й системой. "Город первого ранга -й системы" (
) получается из изображенного на рис. 1.8 "города" при помощи параллельного переноса, совмещающего точку
с точкой
. Нетрудно понять, что "улицы" "города" можно выбрать настолько узкими, что каждая точка плоскости будет покрыта по крайней мере тремя кварталами наших пяти "городов первого ранга". Точно так же "город
-го ранга"
-й системы (
) получается из "города
-го ранга 1 -й системы" параллельным переносом, переводящим точку
в точку
, где
и
получаются из точек
и
гомотетией, переводящей "город первого ранга" 1 -й системы (т.е. наш исходный "город") в "город
-го ранга"
той же системы; при этом каждая точка плоскости будет принадлежать кварталам по крайней мере трех из пяти "городов" любого фиксированного ранга
.
Функцию
![\Phi_q (x,y)=\varphi_q (x)+\psi_q (y)](/sites/default/files/tex_cache/430bbc1a3bf309a077a2152d94bb388d.png)
![q=1,2,...,5](/sites/default/files/tex_cache/0b35ba9a84eb89a0f74ecbada462e8a1.png)
мы определим теперь так, чтобы она разделяла любые два "квартала" каждого "города" системы , т.е. чтобы множество значений, принимаемых
на определенном "квартале" "города
-го ранга" (здесь
- произвольное фиксированное число)
-й системы, не пересекалось с множеством значений, принимаемых
на любом другом "квартале" того же "города". При этом нам, разумеется, будет достаточно рассматривать функцию
на единичном квадрате (а не на всей плоскости).
Для того, чтобы функция разделяла "кварталы" "города первого ранга", можно потребовать, например, чтобы
на проекциях "кварталов" "города" на ось
весьма мало отличалась от различных целых чисел, а
на проекциях "кварталов" на ось
весьма мало отличалась от различных кратных
(ибо
при целых
,
,
,
, лишь если
). При этом наложенные условия не определяют пока еще, разумеется, функций
и
(на "улицах" функция
вообще пока может задаваться совершенно произвольно); используя это,
можно подобрать границы значений
и
на "кварталах" "города второго ранга" так, чтобы функция
разделяла не только "кварталы" "города 1 -го ранга", но и "кварталы" "города 2 -го ранга". Намеченную программу можно осуществить, если
достаточно велико (так что кварталы последующих рангов не соединяют кварталы предыдущих). А.Н. Колмогоров выбрал
. Привлекая подобным же образом к рассмотрению "города" последующих рангов и уточняя каждый раз значения функций
и
, мы в пределе получим непрерывные функции
и
(можно даже потребовать, чтобы они были монотонными), удовлетворяющие поставленным условиям.
2. Функции разложения (2), напротив того, существенно зависят от исходной функции
.
Для построения этих функций докажем прежде всего, что любую непрерывную функцию двух переменных
и
, заданную на единичном квадрате, можно представить в виде
![]() |
( 3) |
где - функции, построенные выше, и
![]() |
( 3^а) |
![]() |
( 3^б) |
![q=1,...,5](/sites/default/files/tex_cache/a250b103baa656124c6b541100c8d87d.png)
Выберем ранг столь большим, чтобы колебание (т.е. разность наибольшего и наименьшего значений) функции
на каждом "квартале" любого из "городов ранга
" не превосходило
; это, разумеется, возможно, так как с ростом ранга
размеры " кварталов" уменьшаются неограниченно. Далее, пусть
- определенный "квартал" "города 1 -й системы" (и выбранного ранга
); в таком случае (непрерывная) функция
принимает на этом "квартале" значения, принадлежащие определенному сегменту
числовой оси (причем в силу определения функции
этот сегмент не пересекается с сегментами значений, принимаемых
на всех других "кварталах"). Положим теперь функцию
на сегменте
постоянной, равной
значения, принимаемого функцией
в какой-либо (безразлично какой) внутренней точке
квартала
(эту точку можно назвать "центром квартала"). Таким же образом мы определим функцию
на любом другом из сегментов, задаваемых значениями функции
на "кварталах" "города
-го ранга" 1 -й системы; при этом все значения
будут по модулю не превосходить
(ибо значение
в "центре" любого "квартала" по модулю не превосходит
). Доопределим теперь функцию
при тех значениях аргумента
, при каких она еще не определена, произвольно, с тем лишь, чтобы она была непрерывна и чтобы выполнялось неравенство (3б); совершенно аналогично определим и все остальные функции
(
).
удовлетворяет условию (3а), т.е. что , где
- произвольная точка единичного квадрата. Эта точка (как и все точки плоскости) принадлежит по крайней мере трем кварталам "городов ранга
"; поэтому заведомо найдутся такие три из пяти функций
, которые принимают в точке
значение, равное
значения
в "центре" соответствующего "квартала", т.е. отличающееся от
не более чем на
(ибо колебание
на каждом квартале не превосходит
); сумма этих трех значений
будет отличаться от
по модулю не более чем на
. А так как каждое из оставшихся двух чисел
в силу (3) по модулю не превосходит
то мы получаем:
![\left|{f_1 (x_0 ,y_0 )} \right|=\left|{f(x_0 ,y_0 )-\sum\limits_{q=1}^5 {h_q^{(1)}(\Phi_q (x_0 ,y_0 ))}}\right|\le \frac{1}{6}M+\frac{2}{3}M=\frac{5}{6}M
,](/sites/default/files/tex_cache/e593e54102c7cbac9d61e97a7e406182.png)
что и доказывает (3а).