Новые возможности в человеко-машинном интерфейсе

Что такое естественно-интуитивное взаимодействие

Естественно-интуитивное взаимодействие это эволюция в области взаимодействии с компьютером через естественные для человека способы и интерфейсы. На сегодняшний момент у нас есть достаточно вычислительных мощностей для того, чтобы объяснить компьютеру то, что хочет от него пользователь, заставить его предугадывать намерения пользователя. Все, что вы пытаетесь решить с помощью компьютера, будет выполнено через распознавание вашего лица, голоса, жестов. Естественно-интуитивное взаимодействие подразумевает использование различных технологий, превращающих взаимодействие с компьютером в насыщенный и интересный процесс.

Представьте себе поиск информации в интернете или обновление статуса в социальной сети без набора текста. Мы просто можем попросить компьютер сделать это за нас. Речь здесь идет не просто о замене ввода с клавиатуры или тачскрина, а о новом опыте во взаимодействии с вычислительной техникой.

Объединив возможности сенсоров, позволяющих компьютеру видеть мир в трехмерном пространстве, как привыкли его видеть мы, добавив функции распознавания голоса и эмоции, разработчики получат абсолютно новый инструмент разработки интерактивных приложений.

Техническое обеспечение

Многие важные инженерные задачи должны быть решены интеграцией новых усовершенствованных датчиков в персональные компьютеры, ультрабуки, планшеты и смартфоны. Для реализации целей естественно-интуитивного взаимодействия устройства должны быть оснащены следующим уровнем "интеллекта" и "способностями".

Камеры, способные оценить глубину, микрофоны, определяющие направленность звука и тачпады, чувствительные к давлению должны быть стандартизированы и миниатюризированы.

Одним из примеров удачного технического решения является камера от компании Creative ( рис. 1.4), которую сложно назвать просто камерой. Скорее это набор сенсоров. В ее состав входят два микрофона, позволяющих значительно улучшить качество распознавания речи, встроенная RGB и инфракрасная камеры (датчик глубины) для распознавания жестов на небольшом расстоянии.

Рис. 1.4. Камера от компании Creative

Характеристики камеры CREATIVE Interactive Gesture Camera™

• Разрешение RGB сенсора: 720p (1280 x 720)
• Разрешение IR Depth сенсора: QVGA (320 x 240)
• Угол обзора (градусы): 73
• Частота работы (кадров в секунду): 30
• Расстояние: от 15 см до 1 метра
• Питание: USB 2.0 (< 2.5 Ватт)

Другой пример это бесконтактный контроллер Kinect, разработанный фирмой Microsoft. Kinect позволяет пользователю взаимодействовать с приставкой Xbox или ПК под ОС Windows без помощи контактного игрового контроллера через устные команды, позы тела и показываемые объекты или рисунки. Данное устройство состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки.

Рис. 1.5. Камера Kinect

Характеристики камеры Kinect:

• 3 камеры:
  • 1 - цветная MT9M112, разрешение 1280x1024, 15 кадров в секунду (30 кадров при 640x512);
  • 2 - цветная MT9v112, разрешение 640x480, 30 кадров в секунду;
  • 3 - ИК сенсор глубины MT9M001, инфракрасный черно-белый 1280x1024, 30 кадров в секунду;
• Расстояние от 1,8 метра до 1 метра

Сравнение современных камер

Сравним характеристики камеры CREATIVE Interactive Gesture Camera™ и камеры Kinect.

С первого взгляда может показаться, что эти два устройства имеют схожие технические характеристики и функционал, но если копнуть немного глубже, то станет понятным, что это совсем не так.

Во-первых, это размеры камеры. CREATIVE Interactive Gesture Camera имеет небольшие размеры, что делает возможным устанавливать ее непосредственно на ноутбук или монитор. В свою очередь камера Kinect больше подходит для установки на большие экраны.

увеличить изображение
Рис. 1.6. Сравнение размеров камеры от компании Creative и камеры Kinect

Вторым существенным различием этих двух камер является разница в дистанциях. Функционал камеры Kinect направлен на работу на больших дистанциях (от 1,2 до 3 м). В свою очередь CREATIVE Interactive Gesture Camera работает на близких расстояниях (от 15 см до 1 м). Отсюда различается основное применение камер. CREATIVE Interactive Gesture Camera больше подходит для распознавания жестов, идентификации и трэкинга объектов, рук, лица, их синтеза, распознавания голоса. Функционал Kinect направлен на идентификацию и распознавание жестов и тела человека, чтобы выделять его в окружающей среде дома. Система слежения за скелетом может одновременно наблюдать за 6 людьми, но лишь за двумя активными игроками. Kinect следит за 20 точками каждого активного игрока и может применять к ним образы пользователей (Live-аватары).

увеличить изображение
Рис. 1.7. Сравнение углов обзора камеры от компании Creative и камеры Kinect

Технические характеристики этих камер также различны, не смотря на то, что CREATIVE Interactive Gesture Camera рассчитана на короткие дистанции, вертикальный и горизонтальный углы обзора больше, чем у камеры Kinect.

Так же следует отметить разницу в источниках электропитания. Для работы с камерой Kinect требуется USB подключение и дополнительный источник энергии от сети. CREATIVE Interactive Gesture Camera требуется меньше мощности (< 2.5 Ватт) и она работает только от USB 2.0.