Определения, структура и развитие систем ИИ

Рис. 1.31. Основные элементы системы обучения и применения искусственной нейронной сети. Источник: адаптировано по материалам Gartner

Выше мы отметили, что для обучения модели на базе нейронных сетей необходимо настроить оптимальные веса для всех связей. Но до сих пор не обсуждали, как это можно сделать.

В сети из нескольких нейронов, как в примере рис. 1.27, весовые коэффициенты можно подобрать вручную. Однако в большей сети необходим автоматический способ поиска оптимальных значений весов (алгоритм обучения). Во время обучения веса, изменяясь на малые величины, приближаются к целевым (оптимальным) значениям.

Важнейшим этапом в развитии нейросетевых подходов явилось появление в середине 80-х годов прошлого века алгоритма обучения, который называется "метод обратного распространения ошибки". Не вдаваясь в детали, кратко остановимся на сути этого алгоритма.

Обучение нейросети происходит в два этапа - прямого распространения сигнала по сети, после которого вычисляется ошибка предсказания, и распространения ошибки по сети в обратную сторону по тем же самым связям, при котором веса связей сети корректируются таким образом, чтобы повысить успешность решения сетью задачи (уменьшить ошибку). Процесс повторяется до тех пор, пока не будет достигнут желаемый результат.

Поясним процедуру на рассмотренном выше примере с классификацией изображений. На стадии обучения мы представляем нейронной сети изображения вместе с метками (целевыми значениями), которые определяют, что именно изображено на рисунке. Предположим, что на некотором шаге обучения мы предоставили сети изображение кошки. После завершения прямого прохождения данных об изображениичерезсетьмодельформируетвыход, согласно которому изображение на 75% является кошкой. Во время обратного распространения учитывается ошибка, полученная на предыдущем этапе. Веса сети корректируются с учетом ошибки, так, чтобы в следующий раз точность была выше. Корректировка каждого веса осуществляется пропорционально его индивидуальному вкладу в общую ошибку. Поскольку вклад в ошибку от весов в более ранних слоях зависит от вклада весов в более поздних слоях, сигнал ошибки описывается как "обратное распространение ошибки".

Задача может быть сформулирована как оптимизация некоторой функции потерь, которая зависит от искомых весов. Потери (ошибка) - это разница между текущим предсказанием сети и истинным (определяемым меткой). Веса изменяются на каждой итерации, пока мы не приблизимся к минимуму функции потерь. Цель обучения - минимизировать ошибку или максимизировать точность предсказания, выполняемого моделью.

Символизм и коннекционизм - конкуренция и интеграция

Как мы отметили, символизм и коннекционизм не единственные подходы, на основе которых могут строиться системы искусственного интеллекта. Но прежде, чем упомянуть другие системы, интересно остановиться на сравнении символьного и коннекционистского подходов, поскольку они представляют собой две основные ветви искусственного интеллекта и процесс их развития, конкуренции и взаимо-дополнения в известной степени отражает процесс эволюции ИИ.

Сравнивая упомянутые направления, уместно напомнить понятия "нисходящий" и "восходящий" как два подхода к созданию ИИ. Символьный подход относят к нисходящему (его также иногда называют подход "сверху вниз"), а коннекционистский - к восходящему (или к подходу "снизу вверх").

В нисходящем подходе познание рассматривается как высокоуровневое явление, которое не зависит от низкоуровневых деталей, то есть абстрагируется от способа реализации механизма работы мозга (в случае природного интеллекта) или принципа действия, конструкции вычислительного устройства (в случае искусственного интеллекта).

Подход "снизу вверх", или так называемая "восходящая парадигма" - это процесс изучения механизмов, использованных природой, с тем чтобы на их основе создать тот или иной вариант реализации ИИ. Примером последнего подхода является процесс создания искусственных нейронных сетей, которые базировались на изучении нейросетевой структуры мозга животных и человека.

Использование вышеописанных подходов можно проиллюстрировать на разных вариантах построения программы распознавания символов - например, символы можно распознавать на основе описания начертания той или иной буквы, в виде определения совокупности правил: "если буква состоит из трех отрезков, двух длинных и одного короткого, которые расположены таким-то образом, то следовательно - это буква А". Это символьный или нисходящий подход. В восходящем подходе речь может идти об обучении нейронной сети путем представления ей изображений большой совокупности букв "А", написанных разными способами, так что сеть сможет вычленить общие признаки для всех вариантов написания буквы и начать ее распознавать.

Исторически символьный подход был первым направлением, на базе которого удалось создать коммерчески успешные системы искусственного интеллекта. Он господствовал примерно с 1950-х по 1980-е годы.

Нисходящие системы плохо справляются с решением задач, включающих большое количество слабых видов взаимодействий, как, например, в системах распознавания образов. Этим объясняется растущее стремление найти альтернативный, более гибкий подход - что стимулировало обращение к коннекционистским моделям.

Для обучения ИНС требуют больших вычислительных ресурсов и памяти, которые было невозможно удовлетворить в период расцвета символьных методов. Позднее, когда появились более производительные компьютеры, исследования коннекционистских сетей "подход снизу вверх" показали значительные перспективы сначала в области распознавания образов, а позднее и во многих других областях. Общая тенденция выразилась в том, что по мере роста вычислительных возможностей коннекционистские методы в существенной мере потеснили символьные.

Этот процесс наглядно иллюстрирует рис. 1.32, на котором показано соотношение числа цитируемых публикаций, принадлежащих к категориям "Коннекционизм" и "Символизм". Корпус статей "Коннекционизм" включал более 100 тысяч публикаций, собранных на "Web of Science", а корпус "Символизм" - примерно 65 тысяч публикаций, собранных по профильным ключевым словам.

Рис. 1.32. Соотношение числа цитируемых публикаций "Коннекционизм"/ "Символизм" (логарифмическая шкала). Источник: адаптировано по материалам [44]. Примечание: ONR - Ofice of Naval Research (Управление военно-морских исследований США)

На рис. 1.32 отмечен 1943 год, в котором, как мы упомянули, появилась модель МакКаллока-Питтса.

Согласно данным Британики [45], первая нейронная сеть появилась в 1954 году, она была разработана Белмонтом Фарли и Уэсли Кларком из Массачусетского технологического института. Сеть была ограничена 128 нейронами и позволяла распознавать простые шаблоны.

В проекте было показано, что случайное разрушение до 10% нейронов в обученной сети не влияло на производительность сети - что напоминает свойство мозга человека переносить ограниченный ущерб, нанесенный хирургическим вмешательством или болезнью.

Среди первых применений можно упомянуть использование сети для принятия инвестиционных решений, распознавания рукописных цифр и определение по внешнему виду некоторых видов вооружений на изображениях.

В 1958 году Розенблатт построил электронное устройство, которое должно было имитировать процессы человеческого восприятия, получившее название "Перцептрон". Проект базировался на развитии идей МакКаллока и Питтса. Перцептрон должен был передавать сигналы от устройства на базе фотоэлементов в блоки электромеханических ячеек памяти, которые оценивали относительную величину электрических сигналов.