Модуль анализа мимики лица Intel Perceptual Computing SDK

Основы распознавания лиц

Презентацию к лекции можно скачать здесь.

Интерес к процессам отслеживания и распознавания лиц, всегда был значительным, особенно в связи с все возрастающими практическими потребностями: системы охраны, верификация кредитных карточек, криминалистическая экспертиза, телеконференции и т.д. Несмотря на ясность того житейского факта, что человек хорошо идентифицирует лица людей, совсем не очевидно, как научить этому компьютер, в том числе как декодировать и хранить цифровые изображения лиц. Так в последние десять лет или около того, распознавание лиц стало популярной областью исследований в компьютерном зрении и одним из самых успешных применений анализа изображений. Данная область привлекает не только исследователей в области информатики, а также неврологов и психологов.

По сути, отслеживание и распознавание лиц является практическим применением теории распознавания образов, в задачу которого входит автоматическая локализация лица на фотографии или видеопотоке и, в случае необходимости, идентификация персоны по лицу. В настоящее время функцию идентификации людей на фотографиях уже активно используют в программном обеспечении для управления фотоальбомами (Picasa, iPhoto и др.) [ [ 1 ] , [ 2 ] , [ 5 ] ].

Способность различать лица присуща человеку с его появления, и является самым естественным способом идентификации. При встрече с новым человеком мы сначала смотрим на лицо и лишь, потом анализируем его походку, голос, манеру одеваться. Компьютеры сравнительно недавно приблизились к этой возможности, не смотря на то, что проблема отслеживания и распознавания лиц рассматривалась еще на ранних стадиях компьютерного зрения. Первыми заказчиками на разработку систем основанных на распознавании образов были правоохранительные органы. Задача, которая ставилась, – захват из толпы отдельных лиц и определение находится ли данный человек в розыске. Но на начало развития компьютерных технологий, это была непосильная задача. Современные технологии отслеживания и распознавания лиц позволяют производить автоматический поиск и распознавание лиц в графических файлах и видеопотоке. В настоящее время данная технология широко распространена и применяется в следующих областях [ [ 1 ] , [ 5 ] ]:

• Обеспечение безопасности:
  • Транспортные узлы: аэропорты, вокзалы, автостанции, метро
  • Места массового пребывания людей: стадионы, развлекательные центры, бизнес-центры, кинотеатры
• Усиление контроля:
  • Пограничные паспортно-визовые контрольные пункты
  • Проходные и КПП на режимных, стратегических и коммерческих объектах
• Бесконтактный контроль состояния человека:
  • Диспетчеров и охранников
  • Пилотов, машинистов, водителей
• Реклама и маркетинговые исследования:
  • Интерактивные сервисы, реагирующие на мимику
  • Интерактивная реклама
  • Оценка удовлетворенности потребителя
• Индустрия развлечений:
  • Создание 3D-фильмов
  • Моделирование виртуальной реальности
• 3D-медицина:
  • Обучение на 3D-моделях
  • 3D-телемедицина

Современный рынок систем

Уже более сорока лет разрабатываются автоматизированные, а сейчас и автоматические системы распознавания человеческих лиц.

Существует несколько классов таких систем:

• системы, позволяющие сравнивать фотографии из паспорта и реальное изображение человека, требуют присутствия оператора, позволяют производить операции в полуавтоматическом режиме. Необходимое условие для успешного сравнения изображений – сотрудничество со стороны исследуемой персоны (установленное поведение перед камерой, позволяющее произвести качественный захват лица). Время поиска – в пределах от нескольких секунд до нескольких минут.
• системы, осуществляющие контроль доступа путем сравнения изображения лица человека и изображения из базы данных, требуют дополнительных методов верификации (по проксимити-карте, по отпечаткам пальцев, по голосу и т.п.). Они могут функционировать в автоматическом режиме, требуют сотрудничества со стороны объекта исследования (предъявления проксимити-карты, фиксации перед камерой). Время сравнения составляет несколько секунд.
• системы идентификации личности по видеоизображению позволяют идентифицировать движущиеся лица, производя поиск, отслеживание и сравнение с базой данных в реальном времени. Они могут быть установлены для мониторинга в общественных местах, позволяя идентифицировать людей в толпе и т.д. Идентификация не требует участия исследуемой персоны и может производиться скрытно, обеспечивая возможность работы в автоматическом режиме, обрабатывая поступающую видеоинформацию и предоставляя результаты в течении 1-3 секунд.

Основы технологии отслеживания и распознавания лиц

Как уже говорилось, основная идея распознавания лица относится к задаче распознавания образов. Такие задачи не имеют точного аналитического решения. Основная идея распознавания лица состоит в выделении информативных признаков в изображении лица, кодировании и сравнении закодированного лица с базой данных.

Для решения задач отслеживания и распознавания лиц были предложены различные методы. Среди таких методов можно выделить подходы, основанные на нейронных сетях, на преобразовании Карунена-Лоэва (или метод главных компонет), скрытых марковских сетях, метод Виолы–Джонса, вейвлет преобразованиях [ [ 2 ] , [ 10 ] , [ 12 ] ].

Метод Виолы-Джонса

В настоящее время метод Виолы–Джонса является самым популярным методом для поиска области лица на изображении в силу своей высокой скорости и эффективности. Пол Виола и Майкл Джонс разработали и представили этот метод в 2001. В основе метода Виолы–Джонса по поиску лица лежат идеи: интегральное представление изображения по признакам Хаара, метод построения классификатора на основе алгоритма адаптивного бустинга, и метод комбинирования классификаторов в каскадную структуру. Эти идеи позволяют осуществлять поиск лица в режиме реального времени [ [ 10 ] ].

Признак Хаара состоит из смежных прямоугольных областей. Эти области позиционируются на изображении, далее происходит суммирование интенсивности пикселей в областях, затем между суммами вычисляется разность. Значение полученной разности и является значением определенного признака, определенного размера, определенным образом расположенного на изображении. На рис. 8.1 представлены граничные, центральные и линейные признаки Хаара. рис. 8.2 демонстрирует пример использования признаков Хаара. На пример, для всех изображений, область в районе глаз темнее, чем область в районе щек. Следовательно, общим признаком Хаара для лиц является 2 смежных прямоугольных региона, лежащих на глазах и щеках [ [ 9 ] ].

На этапе обнаружения в методе Виолы—Джонса используется окно, определенного размера, которое движется по изображению. Признак Хаара рассчитывается для каждой области изображения, над которой проходит окно. Наличие или отсутствие предмета в окне определяется разницей между значением признака и обучаемым порогом. Поскольку признаки Хаара мало подходят для обучения или классификации, для описания объекта с достаточной точностью необходимо большее число признаков. Поэтому в методе Виолы—Джонса признаки Хаара организованы в каскадный классификатор [ [ 9 ] ].

Преимущество использования признаков Хаара является наибольшая, по сравнению с остальными признаками, скорость. При использовании интегрального представления изображения, признаки Хаара могут вычисляться за постоянное время.

Рис. 8.1. Признаки Хаара

Рис. 8.2. Примеры использования признаков Хаара

Методу Виолы–Джонса присуща высокая вероятность точного обнаружения лица, даже при наблюдении объекта под небольшим углом, примерно до 30°. Но при большем угле наклона вероятность обнаружения лица резко падает. В стандартной реализации метода указанная особенность не позволяет обнаруживать лицо человека, повернутое под произвольным углом, что в значительной мере затрудняет или делает невозможным использование данного метода в современных системах [ [ 10 ] ].