Лекция 4: Отслеживание движения и алгоритмы сопровождения ключевых точек

Введение

Одни существа идут, другие — следуют за ними.

Презентацию к лекции Вы можете скачать здесь.

Движение – смещение одних объектов относительно других. В задачах компьютерного зрения выделяется несколько принципиально разных случаев движения [1]:

1. Неподвижная камера, постоянный фон.
2. Движущаяся камера, относительно постоянный фон.
3. Движущаяся камера, постоянно изменяющийся фон.

Подвижность камеры и степень изменчивости фона во многом обуславливает выбор методов решения задач, связанных с движением. Очевидно, что наличие неподвижной камеры и постоянного фона – самая простая ситуация, т.к. можно определить движение по пикселям, интенсивность которых изменяется относительно интенсивности фоновых пикселей. Зачастую указанные условия создаются при разработке систем видеонаблюдения, где достаточно обозревать некоторую фиксированную территорию.

Движущаяся камера в отличие от неподвижной сама является источником изменения сцены и фона вследствие собственного смещения. Но при этом появляется возможность извлечь больше информации из полученных данных, например, определить трехмерную форму объекта. Примером прикладной задачи, в которой исследователь сталкивается с подобными условиями, может служить широко известная задача склеивания последовательности изображений в панораму, когда камера снимает набор перекрывающихся кадров и необходимо совместить их в единую сцену.

Наиболее сложные условия формируются при использовании движущейся камеры, когда практически невозможно выделить постоянный фон. Системы автоматического управления автономными роботами являются типичными примерами систем обработки данных, полученных в указанных условиях [1].

Наличие большого количества объектов, которые не только перемещаются в кадре, но и перекрывают друг друга, в значительной степени осложняет задачу определения движения во всех трех перечисленных случаях.

В настоящее время выделяется несколько основных групп задач, связанных с понятием движения на наборе последовательных кадров [9]:

1. Определение движения или областей движения. Задача рассматривается в условиях неподвижной камеры и относительно постоянного фона. Наиболее простая задача, т.к. ее решение не требует анализа полученной информации о движении. Подобные задачи, как правило, возникают при разработке охранных систем слежения, в которых необходимо обнаружить несанкционированный доступ на территорию закрытого объекта, где, например, исключено движение в определенное время суток.
2. Поиск движущихся объектов . Данная задача является более сложной по сравнению с предыдущей группой задач, т.к. необходимо не просто определить область, в которой происходит движение, но и выделить движущиеся объекты. Один из возможных подходов к решению основан на определении областей движения и последующем распознавании объектов внутри полученных областей. Задача усложняется, когда требуется построить траекторию движения объекта – восстановить положения объекта на последовательном наборе изображений. В этом случае выполняется либо сопровождение областей движения и распознавание объектов в каждой области полученной последовательности, либо поиск новых объектов на сцене и их дальнейшее сопровождение. Поиск и построение траектории движущихся объектов представляет интерес для многих систем видеонаблюдения, т.к. решение данной задачи обеспечивает возможность анализа поведения объектов (покупателей в торговых центрах, автомобилей на дороге и т.п.).
3. Определение трехмерных свойств объекта из набора его последовательных двумерных изображений . Трехмерные свойства объекта, как правило, необходимы для восстановления трехмерной модели объекта, а как следствие, реконструкции трехмерной сцены. Задача актуальна для приложений компьютерной графики, связанных с созданием реалистичных сцен.

В настоящем разделе остановимся на некоторых наиболее известных методах решения задач первой и второй группы.

1. Определение областей движения

1.1. Постановка задачи выделения областей движения

Задача выделения областей движения на видео – одна из классических задач компьютерного зрения. Входом указанной задачи является последовательность кадров некоторого видео V:

( 4.1)

где width – ширина кадра, height – высота кадра, а

( 4.2)

1В случае полутонового изображения – вектор размерности 1, который представляет интенсивность пикселя (x,y) . Если исходное изображение задано в формате RGB, то – вектор размерности 3, каждая компонента которого определяет интенсивность пикселя по соответствующему каналу.

Решением настоящей задачи является совокупность областей изображения для каждого кадра видео, в которых происходит движение одного или нескольких объектов. Таким образом, в результате обработки видео необходимо сформировать набор бинарных изображений, в которых белые пиксели (интенсивность 255) соответствуют пикселям, принадлежащим движущимся объектам, а черные (интенсивность 0) – пикселям фона (4.2).