Предисловие
В предшествующее десятилетие развитие средств вычислительной техники во всем мире испытало сильное влияние со стороны инициированной Японией программы "Пятое поколение компьютеров". Основным лозунгом этой программы было развитие систем искусственного интеллекта на основе алгоритмических языков. В 1992 г. программа "Пятое поколение" была завершена и ей на смену пришла программа "Вычисления в Реальном мире".
В ней речь идет прежде всего о том, чтобы дать вычислительным и управляющим системам возможность самостоятельно, без помощи "переводчика"-человека воспринимать воздействия внешнего мира и действовать в нем. Авторы программы огромную роль - до 30-40% ее содержания отводят исследованию естественных и созданию искусственных нейросетевых систем.
Искусственные нейронные сети, они же коннекционистские или связевые системы представляют собой устройства, использующие огромное число элементарных условных рефлексов, называемых по имени недавно умершего канадского физиолога синапсами Хебба. Такой синапс, как основу возможных механизмов памяти и поведения, Д.Хебб описал теоретически в 1949 году, т.е. в первые годы после рождения кибернетики. Уже сейчас искусственные нейронные сети применяются для решения очень многих задач обработки изображений, управления роботами и непрерывными производствами, для понимания и синтеза речи, для диагностики заболеваний людей и технических неполадок в машинах и приборах, для предсказания курсов валют и результатов скачек. Та часть работ, которая связана с разработкой устройств переработки информации на основе принципов работы естественных нейронных систем относится к области нейроинформатики или нейровычислений (нейрокомпьютинга). Термины эти появились недавно - в середине 80-х годов.
Суть всех подходов нейроинформатики: разработка методов создания (синтеза) нейронных схем, решающих те или иные задачи. Нейрон при этом выглядит как устройство очень простое: нечто вроде усилителя с большим числом входов и одним выходом. Различие между подходами и методами - в деталях представлений о работе нейрона, и, конечно, в представлениях о работе связей. Собственно, как уже отмечалось выше, устройства нейроинформатики представляют собой связевые системы. В отличие от цифровых микропроцессорных систем, представляющих собой сложные комбинации процессорных и запоминающих блоков, нейропроцессоры содержат память, распределенную в связях между очень простыми процессорами. Тем самым основная нагрузка на выполнение конкретных функций процессорами ложится на архитектуру системы, детали которой в свою очередь определяются межнейронными связями.
Во введении дан краткий исторический обзор, обсуждаются значения основных понятий и свойства биологических прототипов, основные движущие мотивы исследований в области нейроинформатики.
В первой лекции:
Для описания алгоритмов и устройств в нейроинформатике выработана специальная "схемотехника", в которой элементарные устройства - сумматоры, синапсы, нейроны и т.п. объединяются в сети, предназначенные для решения задач. Стандартный формальный нейрон составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.
Дано описание основных элементов, из которых составляются нейронные сети. Рассматриваются только нейронные сети, синхронно функционирующие в дискретные моменты времени. Описаны основные архитектуры нейронных сетей.
Нейронные сети вычисляют линейные функции, нелинейные функции одного переменного, а также всевозможные суперпозиции - функции от функций, получаемые при каскадном соединении сетей. Что можно получить, используя только такие операции? Какие функции удастся вычислить точно, а какие функции можно сколь угодно точно аппроксимировать с помощью нейронных сетей? Даются ответы на эти вопросы, в частности, приведено доказательство теоремы Колмогорова о представлении непрерывных функций многих переменных суперпозициями функций одного переменного и линейных функций, доказана (впервые публикуется на русском языке) обобщенная аппроксимационная теорема Стоуна для произвольных алгебр функций. Впервые в монографической литературе приводятся результаты о плотности полугрупп непрерывных функций.
Подробно обсуждается вопрос о универсальных аппроксимационных способностях нейронных сетей.
Предисловие
Информатика стремительно меняет свое лицо - только успевай приспосабливаться. Развивается все: и возможности компьютеров растут, и новые программные продукты открывают целый мир ранее недоступных интеллектуальных услуг, и меняются стили программирования - объектный подход, визуальное программирование и прочая, и прочая, и прочая...
Нейроинформатика - один из новых ликов информатики. Это область науки и интеллектуальной практики, переживающая период экспоненциального роста: растет число вовлеченных людей и публикаций, журналов и лабораторий, вложений и изобретений.
Чем это кончится? Поживем - увидим. А пока будем работать сами и изучать чужие результаты, чтобы не отстать, не остаться на перроне, глядя вслед уходящему поезду научно-технического прогресса.
Вот уже четыре года подряд в Красноярске в первую пятницу октября собираются десятки специалистов из разных городов на Всероссийский семинар "Нейроинформатика и ее приложения". Интерес к семинару растет, все чаще научные руководители приезжают на него с аспирантами и молодыми сотрудниками. Одновременно с семинаром уже дважды проводились Всероссийские школы.
В предлагаемой книге собрано несколько основных лекций Всероссийской школы "Нейроинформатика-96" и докладов 4 Всероссийского семинара. Яркая вводная лекция Президента Российской ассоциации нейроинформатики профессора Виталия Львовича Дунина-Барковского, три фундаментальных лекции автора ряда книг и классических результатов профессора Александра Николаевича Горбаня. Эти известные ученые и сопредседатели Оргкомитета открывают книгу. Авторы двух других лекций - молодые, но очень заметные в российской нейроинформатике ученые - С. А. Терехов и Д. А. Россиев. Они оба лидеры: зав. лабораторией знаменитого ВНИИТФ (под Челябинском) Сергей Александрович Терехов многое сделал в разработке технических приложений нейронных сетей, а тридцатилетний доктор медицинских наук, зав. сектором медицинской нейроинформатики Красноярской медицинской академии Дмитрий Анатольевич Россиев - безусловный лидер в области медицинской нейроинформатики. Их лекции, посвященные, соответственно, техническим и медицинским приложениям нейронных сетей, служат хорошим введением в проблему.
Остальные лекции более специальны. Их авторы, в основном, молоды - как и сама нейроинформатика. Оригинальные алгоритмы оценки погрешностей в нейронных сетях, анализ проблемы скрытых параметров и новый подход к восстановлению неизвестных данных (и даже целая таблица предсказаний отсутствующих в справочниках потенциалов ионизации), описание различных обобщений сетей Хопфилда, предназначенных для создания ассоциативной памяти - все это важно для понимания нейроинформатики.
Особое место занимает последняя лекция. Ее автор - создатель многих известных в России нейропрограмм Е.М. Миркес - описывает методы производства знаний из данных с помощью нейронных сетей. Это - одна из самых старых проблем науки, старше, чем компьютеры, чем информатика, и, тем более, чем нейроинформатика. Оказывается, что обучаемые нейронные сети даже на персональном компьютере могут производить (с помощью пользователя) нетривиальные теоретические построения. Модельный пример простой, но важной политологической теории, построенный на основе данных о президентских выборах в США, убеждает хотя бы в том, что работать с такими средствами интересно!
Несколько слов о том, как лучше пользоваться предлагаемой книгой. Она рассчитана на две категории читателей. Если Вы математик или физик-теоретик, либо просто имеете вкус к теоретическому мышлению, то Вы получите много удовольствия, прорабатывая первые три лекции - шаг за шагом, страницу за страницей. После этого можно ознакомиться с прекрасным изложением различных аспектов приложений нейронных сетей ( "лекции 4" и "5" ), не особенно входя в детали, уделить повышенное внимание "шестой лекции" , где изложен красивый алгоритм оценки погрешностей в работе нейронных сетей, и поискать интересующие Вас вопросы в остальных лекциях.
Если же Вас больше интересуют приложения нейронных сетей, то надо (не особенно углубляясь) познакомиться с первыми тремя лекциями ( "1" , "2" и "3" ), разбирая в первую очередь определения, примеры, формулировки теорем и алгоритмов. Доказательства можно (а при первом чтении - нужно) пропускать. Вам адресованы "четвертая" и "пятая" лекции - читайте их, по мере необходимости обращаясь к первым трем. И опять же, пробегите остальные лекции в поисках интересного для Вас материала.
Ежегодный семинар поддерживается Красноярским краевым фондом науки. Это издание также подготовлено с его помощью.
Ответственный редактор,
доктор физ.-мат. наук, профессор Е.А. Новиков