Опубликован: 23.08.2014 | Уровень: для всех | Доступ: платный | ВУЗ: Северный (Арктический) федеральный университет им. М.В. Ломоносова
Лекция 1:

Обзор применения технологии естественно-интуитивного взаимодействия с компьютером в сферах жизни, основываясь на исследовании пользовательского опыта

Лекция 1 || Лекция 2 >
Аннотация: Данная лекция является первой вводной лекцией ко второй части курса "Естественно-интуитивное взаимодействие с компьютером". Сам курс будет сфокусирован на практических вопросах применения возможностей Intel Perceptual Computing SDK для разработки приложений различных сфер деятельности человека. Эта лекция будет носить обзорный характер, расскажет о текущем состоянии технологии и о тех сферах, в которых воспринимающий компьютинг нашел свое применение.

Презентацию к лекции можно скачать здесь.

Начиная с интерфейса командной строки (CLI) и перейдя к графическим пользовательским интерфейсам (GUI), в данный момент мы находимся на пороге открытия следующего этапа более естественных интерфейсов, которые основаны на традиционных парадигмах человеческого взаимодействия, таких как осязание, зрение, речь и, самое главное, творчество. Люди общаются с помощью жестов, эмоций, движений и открывают для себя мир, глядя вокруг и управляя физическими объектами. Ключевым моментом здесь является то, что люди должны иметь возможность взаимодействовать с технологиями, как они привыкли взаимодействовать с реальным миром в повседневной жизни. По мере развития технологии становится невидимыми на перцептивном и когнитивном уровнях. Взаимодействие становится вполне естественным и спонтанным. Таким образом, одной из характеристик успешного интерфейса естественного взаимодействия является снижение когнитивной нагрузки на человека, взаимодействующего с интерфейсом.

Технология воспринимающего компьютинга делает шаг за рамки привычных нам средств управления цифровыми устройствами. Здесь роль контроллера играет человек, совершая привычные для него действия из повседневной жизни.

1.1. Приложения для медицинских целей

Рассмотрим возможности применения воспринимающего компьютинга в сфере медицины.

В операционной хирург опирается на массив изображений, полученных при помощи магнитно-резонансного томографа и компьютерного томографа, как на визуальные ориентиры для выполнения специальных процедур. Однако переключение изображений довольно затруднительно, вследствие того, что клавиатура и мышь не стерильны. Хирургу необходимо покидать стерильное помещение или обращаться за помощью к медсестре, теряя драгоценное время и оставляя пациента под наркозом. Система GestSure (http://gestsure.com/) использует усовершенствованные датчики камеры, которые позволяют хирургу получать доступ к изображениям с помощью простых жестов. Находясь рядом с операционным столом, хирург использует простой набор команд-жестов, который позволяет им выполнять все, что и при работе с обычной мышью.


Jintronix (http://www.jintronix.com/) использует сенсор глубины Kinect и превращает процесс реабилитации жертв инсульта в интересный и менее болезненный процесс. Система отображает последовательность действий и жестов, которые должен совершить пациент, отслеживает и анализирует их, повышая тем самым выносливость пациента и его мобильность. Ссылка на промо-видео: http://youtu.be/gfWK4kauemA


В Центре по работе с детьми с аутизмом (штат Вашингтон, США) используется интерактивные камеры для лечения нарушения моторики двигательного аппарата, выработки специальных навыков и повышения социальной активности детей.


Небольшое приложение Sit Perfect, присланное в рамках конкурса Intel Perceptual Challenge, отслеживает положение человека за компьютером и сигнализирует о неправильной осанке и близости нахождения к монитору. Ссылка на видео: http://youtu.be/WbBASANEYDg.

1.2. Воспринимающий компьютинг в образовании

Наверное, каждый учитель искренне желает, чтобы класс стал местом где ученики принимают активное участие в образовательном процессе, а не поглядывают на часы и ждут заветного звонка. Возможности воспринимающего компьютинга позволяют совершенствовать традиционные подходы к проведению уроков и внешкольных программ, используя техники привлечения внимания, движения тела и жесты, которые помогают ученику усваивать новую информацию в более интересной форме и в тоже время оставаться сфокусированным на определенной задаче.

Подобный подход к проведению занятий с детьми называется активное обучение и уже широко применяется в ряде западных школ. "Когда я использовал камеру Kinect на своем уроке по математике, ученики стали задавать вопросы, выходящие далеко за рамки учебного материала. Это был большой успех, т.к. дети начали задумываться о применении пройденного материала в контексте реального мира" - Джон Хисско, учитель математики в Техасе, США.

В качестве примера интерактивного инструмента для обучения детей можно привести песочницу дополненной реальности, которая позволяет детям создавать своими руками ландшафты из песка, получать при этом горы, ущелья, вулканы, долины и реки. Проект построен с использованием камеры Microsoft Kinect, работающей в связке с топографическим ПО и 3D-проектором. Подробности: http://habrahabr.ru/post/220239/, http://habrahabr.ru/sandbox/81701/. Применение этой технологии можно найти не только в обучении детей, но и в ландшафтном дизайне и проектировании городов.

В процессе обучения очень полезна возможность визуализации сложных объектов. Например, приложение Molecula позволяет, используя жестовое управление, манипулировать молекулой ДНК, изображенной на экране. Манипуляции включают возможность захвата молекулы, поворота и увеличения (https://www.youtube.com/watch?v=EYhZAsKDHb8&list=PLT8Rgp51PBmx3reOk8mFnsqUEtdKddRd). Можно пойти дальше и реализовать жестовую сборку сложных объектов в любой области из составных частей.

Интерактивная доска может использоваться в качестве инструмента, значительно ускоряющего доступ к необходимой информации, облегчающего ее восприятие, способствующего формированию творческой атмосферы в коллективе обучающихся. Объединяя интерактивную доску, камеру Creative* Senz3D (или Intel® RealSense™ 3D Camera) и Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK), можно получить крайне интересные решения. В качестве примеров реализации похожих идей можно предложить следующие разработки: https://www.youtube.com/watch?v=WV9K_z4l_J8, https://www.youtube.com/watch?v=aLLv2zHE7qk.

Дистанционное обучение принимает новый вид при использовании анимированных аватаров. Анимация дистанционного обучения, совместной работы над проектами и общение между классами с помощью аватаров превращает обычные видео-звонки в полностью виртуальную среду. Возможности воспринимающего компьютинга позволяют отслеживать движения, распознавать лица, чтобы каждый ученик смог иметь свой собственный аватар и мог в режиме реального времени увидеть на экране виртуального собеседника улыбающимся, кивающим, говорящим и показывающим жесты. С другой стороны, применив данную возможность в классе, ученик теряет страх выступления перед аудиторией, ведь вместо него может выступать его аватар, а это еще один интересный способ вовлечь ученика в активное обучение. Ссылка на видео: http://youtu.be/-U-pPJsQiMA


Возможности воспринимающего компьютинга позволяют производить сегментацию изображения, за счет камеры глубины. Подобная функция также нашла свое место в дистанционном образовании и онлайн общении. Программный продукт Nuvixa StagePresence помещает изображение лектора поверх любого презентуемого материала. Такой подход к созданию электронных учебных материалов позволит студентам видеть лектора в процессе дистанционного обучения. Ссылка на видео: http://youtu.be/BmGtKRve7I8


Функции дополненной реальности реализованы в системе Augmented Reality Magic Mirror for Medical Data Visualization. Система создает иллюзию рентгеновского снимка части тела в реальном времени. Такая система, например, может быть использована для обучения анатомии. Ссылка на видео: http://youtu.be/Oske0c1sOVE


1.3. Управление встроенными системами и техникой

Проект Kilight управляет освещением в помещении. С помощью камеры происходит обнаружение присутствия человека в той или иной части комнаты и в зависимости от этого включаются или отключаются соответствующие осветительные приборы. Ссылка на видео: http://youtu.be/zlChtCHcKJw.

Новая технология интеллектуального управления Samsung Smart Interaction позволяет управлять работой телевизора без нажатия кнопок на пульте управления. Используя голосовые команды и жесты, становится возможным включать или выключать телевизор, переключать каналы, открывать и закрывать приложения, серфить по Интернету. Интегрированная камера с функцией распознавания лиц запомнит лицо пользователя и даст возможность зайти на портал Smart Hub (сервис дополнительных функция) без ввода логина и пароля. Ссылка на видео: http://youtu.be/M3k7gdsavek

Проект GestureCarAudioController, представленный Казуки Ариматсу в рамках финального этапа конкурса Intel Perceptual Challenge, позволяет водителю управлять аудио системой автомобиля без каких-либо нажатий, только с помощью жестовых команд. Система состоит из камеры Creative gesture camera и Intel NUC. Жестовый модуль Intel Perceptual Computing SDK обнаруживает движения рук водителя и управляет аудио системой автомобиля. Ссылка на видео: http://youtu.be/oPxn_71SSG0

Роберт Волтер предложил простой подход к превращению любую плоской поверхности в сенсор, реагирующий на множественные касания. Рабочая поверхность сенсора касания определяется вручную. Самая близкая к поверхности точка в пределах заданного порогового значения считается касанием и может являться курсором. Ссылка на видео: http://youtu.be/4zXtV66cFDY


Английские студенты из Школы компьютерных наук и электронной инженерии Университета Эссекса разработали модель инвалидного кресла, управляемого движением головы. Программы управляет электрическим мотором по заранее заданным жестам. Ссылка на видео: http://youtu.be/sD-bKbDUvik

В рамках конкурса Intel Perceptual Challenge было разработано приложение для управления роботом. Управление может работать в нескольких режимах: голосовое управление - робот реагирует на простые голосовые команды, может следовать за человеком, распознавая его присутствие в видеопотоке, объезжать препятствия, реагировать на жесты и отвечать на несложные вопросы. Для реализации проекта использовалась Creative Interactive Gesture Camera и Intel Perceptual Computing SDK. Ссылка на видео: http://youtu.be/f83ZZ0kfU-Y

1.4. Естественно-интуитивное управление мультимедиа

О возможностях воспринимающего компьютинга для управления мультимедиа контентом уже сказано довольно много. Давайте рассмотрим примеры проектов, присланных в рамках проекта Intel Perceptual Challenge.

Приложение Perceptual Helper позволяет назначать жестовые команды для выполнения действий по управлению мультимедиа в операционной системе. Разработчики заявляют, что в следующей версии функционал приложения будет расширен голосовыми и мимическими командами. Ссылка на видео: http://youtu.be/YWnQppEZSiE

Приложение NoTouch Window Control разработано для управлениями окнами в ОС Windows. С помощью стандартных жестов из Intel Perceptual Computing SDK, пользователь может перемещать открытые окна, менять их размер, сворачивать и восстанавливать окна. Также в приложение реагирует на простые голосовые команды. Ссылка на видео: http://youtu.be/_vzkS_t75fc

Приложение Perceptual Gallery разработано для навигации в фотоальбоме при помощи жестов. С помощью жестовых команд пользователь может перемещаться между папками с фото, переключать фотографии, вращать фото и запускать слайд шоу. Ссылка на видео: http://youtu.be/5bdSKaP0AnM

Google Earth Controller позволяет осуществлять виртуальные путешествия в любую точку мира, просматривать фотоснимки городов и зданий при помощи жестового управления. Ссылка на видео: http://youtu.be/QhjbTqc253o

1.5. Дополненная реальность

Можно проделывать интересные трюки, совместив камеру с сенсором глубины и проектор. Microsoft Research недавно это продемонстрировали. Последнее творение коллектива разработчиков названо Beamatron. Система использует камеру Kinect для отслеживания объектов в видео потоке и проектор для создания ощущения взаимодействия виртуального объекта с реальным миром. В демонстрации видео (Ссылка на видео: http://youtu.be/L9yccRm3Zu8), главный научный сотрудник Энди Уилсон показывает, как виртуальная машинка на пульте дистанционного управления сталкивается с реальными препятствиями. Расстояние до проектора компенсируется и, заехав на некоторое возвышение, размеры машинки остаются неизменными.


TryLive Eyewear от компании Total Immersion, чье программное обеспечение входит в состав Intel Perceptual Computing SDK, работает как виртуальная примерочная, позволяя онлайн-покупателям просмотреть весь ассортимент оправ и в реальном времени подобрать себе подходящую (http://www.trylive.com/).


1.6. Виртуальные музыкальные инструменты

Можно сказать, что мы стоим на пороге революции в области музыкальной индустрии. Джонатан Хаммонд из Великобритании работает над диджейской станцией, где все управление музыкой и звуковыми эффектами происходит при помощи жестов. В его проекте в качестве технического обеспечения взята технология захвата движения Leap Motion. Следующее видео демонстрирует невероятные возможности человеко-машинного взаимодействия (http://vimeo.com/76066715).


Возможности Intel Perceptual Computing SDK демонстрируются в приложении Digital Piano. Нажатие клавиш виртуальных музыкальных инструментов происходит за счет отслеживания кончиков пальцев, а смена музыкального инструмента производиться голосом. Ссылка на видео: http://youtu.be/yuMeKyhRpio

Приложение Virtual Theremin является виртуальным аналогом музыкального инструмента Терменвокс (Игра на терменвоксе заключается в изменении музыкантом расстояния от своих рук до антенн инструмента, за счёт чего изменяется ёмкость колебательного контура и, как следствие, частота звука http://ru.wikipedia.org/wiki/терменвокс). Ссылка на видео: https://www.youtube.com/watch?v=veNBKPqJe7Y.

1.7. Естественно-интуитивное управление в играх

Современный мир невозможно представить без игровой индустрии. Примерно 30% времени, проведенного за компьютером, современный человек проводит в играх. Очевидны возможности применения идей естественно-интуитивного взаимодействия в компьютерных играх. Напрашивается реализация жестового или голосового управления действующими игровыми персонажами, а также возможность манипуляции игровыми объектами с помощью жестов или голосовых команд.

Часто можно наблюдать ребенка, изображающего машину и управляющего ею с помощью воображаемого руля. Существуют решения, позволяющие управлять движущимися на экране объектами с помощью жестов. Управление автомобилем: https://www.youtube.com/watch?v=4ODA2uWe7yQ. Управление самолетом: https://www.youtube.com/watch?v=KPE332rX5Yc.

Опять же, если понаблюдать за детьми, часто можно увидеть игры в юных магов и фей при этом обычно выполняются некоторые пассы руками и чтение заклинаний или произнесение магических слов. Все это наталкивает на мысли о реализации жестового и голосового управления магами и волшебниками в соответствующих играх. Примером может служить приложение: https://www.youtube.com/watch?v=V9ut24ua-zs.

Часто встречаются игры, в которых реализуется уход и взаимодействие с виртуальным домашним животным, когда-то все начиналось с тамагочи. Пример приложения, реализующего уход за виртуальным животным с использованием идей естественно-интуитивного взаимодействия: https://www.youtube.com/watch?v=71WHObUzRaQ.

Жестовое управление марионеткой: https://www.youtube.com/watch?v=LCWPv67uhxE.

Можно предположить, что использование идей естественно-интуитивного взаимодействия является будущим индустрии компьютерных игр. Ссылка на видео: https://www.youtube.com/watch?v=1edFLuMvyOs.

Заключение

Реализация функций естественно-интуитивного взаимодействия в интерактивных приложениях позволит:

Отражать реальность, а не создавать копию реальности. Разработка приложений, использующих функции естественно-интуитивного взаимодействия должна вдохновляться реальным миром. Естественно-интуитивное взаимодействие основано на наших природных навыках, используемых в повседневной жизни. Каждый день мы используем наши руки для манипуляции объектами, голос, чтобы общаться. В виртуальной среде все эти естественные человеческие возможности позволят забыть про правила и сделать взаимодействие легче.

Буквально, а не абстрактно отображать объекты реального мира, то есть отображать более привычные элементы управления (переключатели и регуляторы) для манипуляций вместо абстрактных текстово-символьных альтернатив.

Создавать приложения интуитивно понятными, то есть пользователю не придется долго осваивать функции интерактивного приложения.

Создавать надежные приложения, не реагирующие на случайные или ложные действия.

Расширять функционал интерактивных приложений. Функционал Intel Perceptual Computing SDK стремительно расширяется, пополняясь новыми движениями, позами, языками. Уже существующие функции также улучшаются.

С развитием технологий обработки речи, изображений и видео, взаимодействие человека с компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.

Лекция 1 || Лекция 2 >
Дмитрий Юнушкин
Дмитрий Юнушкин

В лабораторной работе №2 (идентификация лица) сказано:

в FaceTracking.cs: удалим или закомментируем функцию SimplePipelineкласс MyUtilMPipeline и изменим функцию AdvancedPipeline...

Класса MyUtilMPipeline  нет в проекте вообще;

Функции AdvancedPipeline так же нет. Материалов к лабораторной  №2 в начале работы (по ссылке открывается та же страница) тоже нет.Это ошибки или используется другая версия примера?

Анатолий Федоров
Анатолий Федоров
Россия, Москва, Московский государственный университет им. М. В. Ломоносова, 1989
Дмитрий Юнушкин
Дмитрий Юнушкин
Россия, г. Пенза