Мультиагентное управление

Введение

Презентацию к лекции Вы можете скачать здесь.

Совместное управление или управление распределенными динамическими системами на графах относится к ситуации, в которой каждый узел может получать информацию для проектирования управления только от самого себя и от своих соседей. Граф может задавать топологию сети связей, которая ограничивает связи между узлами. Это также называют мультиагентным управлением.

Несмотря на большое количество публикаций по этой тематике, пока удовлетворительные решения получены лишь для ограниченного класса практически важных задач, так как решение таких проблем существенно усложняется, с одной стороны, из-за обмена неполной информацией, которая, кроме того, обычно измеряется с помехами, а, с другой, из-за эффектов квантования (дискретизации), свойственных всем цифровым системам.

Цели управления

Остановимся на различных целях управления, которые решают системы мультиагентного управления (МАУ).

Синхронизация — совпадение или сближение переменных состояния двух или нескольких систем, либо согласованное изменение некоторых количественных характеристик систем.

Задача синхронизации отличается от задачи управления с эталонной моделью, поскольку в ней допускается совпадение различных переменных, взятых в различные моменты времени. Временные сдвиги могут либо быть постоянными, либо стремиться к постоянным. Кроме того, во многих задачах синхронизации связи между системами являются двусторонними (двунаправленными). Это значит, что предельный режим в системе (синхронное решение) заранее не известен. Общей особенностью задач управления синхронизацией является то, что желаемое поведение однозначно не фиксировано, а его характеристики задаются лишь частично. В задачах синхронизации часто основным требованием является совпадение или согласованность колебаний всех подсистем, в то время как характеристики движения каждой подсистемы могут варьироваться в широких пределах 1. В контексте МАУ под синхронизацией понимают согласованное поведение агентов, например, полное или частичное сближение со временем состояний агентов или их наблюдаемых выходов.

В МАУ такая цель управления чаще формулируется как задача достижения консенсуса 2,3 или согласования характеристик 4, в которых каждый агент стремится уменьшить отклонение своей целевой переменной от соответствующих переменных своих соседей. Если речь идет об отклонении от среднего арифметического состояний соседей, то ставится задача достижения усредненного консенсуса.

Задача по переводу группы агентов в некоторое общее состояние называется задачей о рандеву (англ. rendezvous). В ней требуется, чтобы все агенты оказались в заданном месте в заданное время.

Еще одним классом задач МАУ является распределенное управление формациями (англ. formation control) — управление локально взаимодействующими агентами, образующими некоторые геометрические конфигурации. Такие задачи обычно решаются применительно к мобильным роботам, беспилотным летательным аппаратам, подводным автономным устройствам и др. Задачи группового управления (управления формациями) 5 сводятся к задачам частичной координатной синхронизации с помощью метода виртуального лидера.

При большом числе агентов (а в ряде задач число агентов достигает тысяч и миллионов), требование заданного поведения всех без исключения агентов оказывается излишне жестким и трудновыполнимым. В таких случаях выделяется характерная точка в множестве состояний агентов (центр, лидер, центр тяжести), а желательным поведением является заданное поведение центра при условии ограниченности отклонений от него состояний всех агентов. Для такого поведения вводятся понятия, заимствованные из биологии: сбивание в стаи, роение (англ. swarming, flocking), и устанавливаются условия возникновения в системе соответствующих свойств 6,7.

Отдельный класс задач МАУ — распределение ресурсов между разными возможными заданиями, задачи диспетчеризации (англ. scheduling), которые сводятся к задаче достижения консенсуса.

Балансировка загрузки узлов децентрализованной вычислительной сети при неполной информации

Распределенное взаимодействие в сетях динамических управляемых агентов привлекает в последние время внимание все большего числа исследователей. Во многом это объясняется широким применением мультиагентных систем в разных областях, включая автоматическую подстройку параметров нейронных сетей распознавания, управление формациями 1, роение 2, распределенные сенсорные сети 3, управление перегрузкой в сетях связи 4, взаимодействие групп беспилотных летательных аппаратов (БПЛА), относительное выравнивание групп спутников и др. Многие из таких задач легко переформулируются в терминах достижения консенсуса в мультиагентных системах 5-7.

Решение таких задач существенно усложняется при практическом применении, с одной стороны, из-за обмена неполной информацией, которая, кроме того, обычно измеряется с помехами, а, с другой, из-за эффектов квантования (дискретизации), свойственных всем цифровым системам 8-12.

Для группы взаимодействующих агентов, обменивающихся с задержкой неполной информацией в дискретные моменты времени, при изменяющейся топологии связей в 2 предложен и обоснован алгоритм стохастической аппроксимации для решения задачи о достижении консенсуса. Алгоритмы типа стохастического градиента использовали в такого типа задачах и ранее 14-17. Стохастическая аппроксимация с убывающим размером шага позволяет каждому агенту получать информацию о состоянии своих соседей при одновременном снижении воздействия помех. Популярным инструментом для доказательства состоятельности этих алгоритмов являются квадратичные функции Ляпунова, наличие которых гарантировано при фиксированной топологии сети.

В случае сети с переменной топологией квадратичная функция Ляпунова в 6 применяется для случая сбалансированной модели графа связности, матрицы которого стохастические по строкам и столбцам. В 9 для неориентированных графов стохастические по строкам и столбцам весовые матрицы строились на основе весов Метрополиса. Распределенные итеративные алгоритмы для построения на ориентированных графах (орграфах) стохастических матриц по строкам и столбцам были предложены в 18, но они не применимы при отсутствии полной информация о текущей топологии сети.

Практическое значение имеет рассмотрение моделей без свойства стохастичности матриц по строкам и столбцам, как в 12. Кроме того, желательно иметь алгоритмы достижения консенсуса, работоспособные и в нестационарных условиях.

При динамических внешних изменениях состояний агентов (получение новых заданий и т. п.) алгоритмы стохастической аппроксимации с уменьшающимся размером шага не применимы. В 9-22исследуется работоспособность алгоритмов стохастической аппроксимации с постоянным размером шага в условиях нестационарных функционалов качества (среднего риска). Их применимость для балансировки загруженности узлов централизованной вычислительной сети при доступности текущей зашумленной иформации о загруженности и производительности узлов была исследована в 22,23 для разработки специальной программы - брокера загрузки.

В этой лекции будут рассмотрены возможности применения результатов 12 к задачам о балансировке загруженности узлов децентрализованной вычислительной сети при поступлении в каждый узел только зашумленной информации о загруженности и производительности соседей, причем топология связей в сети может меняться со временеи, а информация от соседей доходить с задержкой по времени.