Метод потенциальных функций
6.2. Выбор системы функций
. Система функций задается априорно. Обычно используют некую полную систему функций, например, на конечном отрезке можно взять систему тригонометрических функций. Эта система к тому же ортогональна.
Утверждение. Если задана полная ортогональная система функций одной переменной, то можно построить полную ортогональную систему функций любого числа переменных.
Доказательство. Пусть – полная ортогональная система функций на конечном интервале . Рассмотрим систему
Эта система полна и ортогональна на декартовом произведении экземпляров , то есть на ..
Проверим ортогональность. В скалярном произведении двух различных функций и :
всегда найдется такое , что и, в силу ортогональности системы , имеем:Далее, пусть – произвольная функция переменных. Фиксируем все переменные, кроме , и получаем разложение функции :
Повторяем это рассуждение для последовательности раз:
что и доказывает полноту системы6.3. Сходимость общей рекуррентной процедуры
Предположим, что обучающая последовательность есть выборка конечного объема из пространства ( – пространство признаков). Тогда последовательность есть последовательность случайных функций, и последовательность – последовательность случайных чисел. Поэтому будем говорить о сходимости в вероятностном смысле, то есть либо по вероятности, либо с вероятностью равной 1, либо в среднем.
Пусть – случайные величины из , а – выборка для конечного объекта.
Теорема. Пусть заданы два множества и и выполнены следующие условия.
- Существует функция такая, что , при , при , где константа .
- Задана система функций такая, что , ,
- Точки из обучающей последовательности независимые случайные величины, с одной и той же плотностью . Тогда общая рекуррентная процедура, определяемая формулой , где и сходится в следующем смысле: , при .
Теорема. Пусть выполнены все условия предыдущей теоремы. Пусть также на каждом -ом шаге работы общей рекуррентной процедуры существует строго положительная вероятность исправления ошибки, если функция к -ому шагу еще не разделила классы и . Пусть с вероятностью единица для каждой реализации процедуры существует конечное число такое, что
– правильно разделяет и ,
– конечный интервал на прямой ,
– полная ортогональная система функций, ,
при .
Тогда система функций полна и ортогональна на пространстве .
Доказательство. Ортогональность очевидна. Докажем полноту. Пусть – произвольная функция в такая, что . Фиксируем переменные начиная с , тогда
6.4. Функции Эрмита
Если в качестве системы функций взять функции вида
где – полином Эрмита.Тогда
Обозначим , где , тогда