Численные методы решения экстремальных задач

Можно показать, что покоординатный спуск реализуется (сходится к точке минимума) при условии существования вторых производных причем Изломы приводят к подъему. Этот метод сходится достаточно медленно, а при наличии так называемых "оврагов", очень медленно. Разделим "рельефы", образуемые линиями уровня — на два типа: "котловинный" и "овражный". В первом случае линии уровня похожи на эллипсы, а функция вблизи своего минимума практически не изменяется при изменении переменных. Этот случай можно назвать простым (рис. 4.4).

Рельеф овражного типа имеет либо точки излома (рис. 4.4), либо участки с большей кривизной ("разрешимый овраг"). Если линии уровня — кусочно - гладкие, то выделим на них точки излома, геометрическое место которых назовем истинным "оврагом", если угол направлен в сторону возрастания функции — и "гребнем", если в сторону убывания (рис. 4.5).\vspace{- 4mm}

Рис. 4.4.

Примером разрешимого оврага является функция (рис. 4.6 ).

Рис. 4.5.

Рис. 4.6.

Неупорядоченный тип рельефа характеризуется наличием многих экстремумов; примером может служить функция (рис. 4.7).

Рис. 4.7.

Рис. 4.8.

Метод оврагов используется в случае, если "дно" оврага узкое, а "склоны" крутые. В этом случае спустимся из двух точек P₀ и P₁, например, с помощью метода координатного или градиентного спуска на "дно" оврага (или в его окрестность) в точки с координатами r₀ или r₁, не требуя высокой точности сходимости. Проведем через эти две точки прямую и выберем на ней новую точку

где h = const > 0 — "овражный шаг", который выбирается для каждой функции путем расчета (рис. 4.8). Точка лежит на "склоне" оврага. Из нее спускаемся на "дно" и попадаем в некую точку r₂, через точки r₁ и r₂ проводим прямую и находим точку P₃, из которой возможно опуститься в точку r₃.

Процесс продолжается до тех пор, пока значения целевой функции на "дне" оврага убывают, т.е. пока