Стандарт mpeg-4, -7, -21

Навигация и доступ

MPEG-7 предоставляет DS, которые облегчают навигацию и доступ к аудио-визуальному материалу путем спецификации резюме, обзоров, разделов и вариаций медиа-данных. DS резюме предоставляет аннотации аудио-визуального материала, для того чтобы обеспечить эффективный просмотр и навигацию в аудио-визуальных данных. Пространственно-частотная проекция дает возможность рассматривать аудио-визуальные данные в пространственно-частотной плоскости. DS вариации специфицируют отношения между различными вариантами аудио-визуального материала, которые позволяют адаптивный выбор различных копий материала при различных условиях доставки и для разных терминалов.

Аудио-визуальные резюме предоставляют компактные аннотации аудио-визуального материала для облегчения обнаружения, просмотра, навигации, визуализации и озвучивания этого материала. DS резюме позволяет осуществлять навигацию в рамках аудио-визуального материала иерархическим или последовательным образом. Иерархическая декомпозиция резюме организует материал послойно, так что он на различных уровнях выдает различную детализацию (от грубой до подробной). Последовательные резюме предоставляют последовательности изображений или видеокадров, возможно, синхронизованные с аудио и текстом, которые формируют слайд-демонстрации или аудио-визуальные наброски.

DS резюме. Резюме MPEG-7 делают возможным быстрый и эффективный просмотр и навигацию аудио-визуального материала путем передачи существенных составляющих этого материала. DS резюме содержит связи с аудио-визуальным материалом, включая сегменты и кадры. Данное описание резюме, терминального оборудования, такого как цифровая приставка к телевизору, может иметь доступ к аудио-визуальному материалу, формируя резюме и отображая результат для последующего взаимодействия с пользователем. DS резюме допускает формирование нескольких резюме для одного и того же материала, которые могут быть созданы с разными уровнями детализации.

DS иерархического резюме. DS HierarchicalSummary организует резюме нескольких уровней, которые описывают аудио-визуальный материал с разной детализацией. Элементы иерархии специфицируются DS HighlightSummary и HighlightSegment. Иерархия имеет форму дерева, так как каждый элемент в иерархии, кроме корневого, имеет прародителя. Элементы иерархии могут опционно иметь дочерние элементы.

DS HighlightSummary и HighlightSegment. DS HierarchicalSummary сконструирован на основе базового представления временных сегментов AВ-данных, описанных HighlightSegments. Каждый HighlightSegment содержит указатели на AВ-материал, чтобы обеспечить доступ к ассоциированным ключевым видео- и аудиоклипам, к ключевым кадрам и ключевым звуковым составляющим, он может также содержать текстовую аннотацию, относящуюся к ключевым темам. Эти AВ-сегменты группируются в резюме или рубрики посредством схемы описания HighlightSummary.

DS SequentialSummary. DS SequentialSummary специфицирует резюме, состоящее из последовательности изображений или видеокадров, возможно, синхронизованных со звуком или текстом. SequentialSummary может также содержать последовательность аудиофрагментов. Аудио-визуальный материал, который образует SequentialSummary, может быть записан отдельно от исходного материала, чтобы позволить быструю навигацию и поиск. В качестве альтернативы последовательные резюме могут связываться непосредственно с исходным аудио-визуальным материалом для того, чтобы ослабить требования к памяти.

Рис. 6.36.

На рис. 6.36 показан пример иерархического резюме видеозаписи футбольного матча. Описание иерархического резюме предоставляет три уровня детализации. Видеозапись матча суммирована на одном корневом кадре. На следующем уровне иерархии предлагается три кадра, которые суммируют различные сегменты видеозаписи. Наконец, внизу рисунка показаны кадры нижнего уровня иерархии, отображающие детали, различных сцен сегментов предыдущего уровня.

Отображения разделов и декомпозиций описывает различные части аудио-визуального сигнала в пространстве, времени и по частоте. Отображения разделов описывает различные виды аудио-визуального материала, такие как отображения с низким разрешением, пространственных или временных сегментов, или частотных субдиапазонов. Вообще, DS отображения пространства и частоты специфицируют соответствующие разделы в пространственной и частотной плоскостях.

Отображение декомпозиций описывает различные представления аудио-визуального сигнала посредством механизмов графов. Декомпозиции специфицируют узловые элементы информационных структур, базирующихся на графе, и соответствующие элементы отношений, которые соответствуют анализу и синтезу внутренних зависимостей отображений.

DS отображения. DS отображений описывают различные пространственные и частотные отображения аудио-визуальных данных. Определены следующие DS отображения: DS SpaceView описывает пространственное отображение аудио-визуальных данных, например пространственный сегмент изображения. DS FrequencyView описывает отображение в пределах заданного частотного диапазона, например частотный субдиапазон звукового сопровождения. DS SpaceFrequencyView специфицирует многомерное отображение аудио-визуальных данных одновременно в пространстве и по частоте, например частотный субдиапазон пространственного диапазона изображения. DS ResolutionView специфицирует отображение с низким разрешением, такое как набросок изображения. Концептуально, отображение разрешения является частным случаем частотного отображения, которое соответствует низкочастотному субдиапазону данных. DS SpaceResolutionView специфицирует отображение одновременно в пространстве и по разрешению, например отображение изображения пространственного сегмента с низким разрешением.

Декомпозиции проекций. DS декомпозиции проекции описывают различные пространственные и частотные декомпозиции и организацию отображения аудио-визуальных данных. Определены следующие DS декомпозиции проекций: DS ViewSet описывает набор проекций, который может иметь различные свойства полноты и избыточности, например набор субдиапазонов, полученный при частотной декомпозиции аудио-сигнала, образующего ViewSet. DS SpaceTree описывает дерево декомпозиции данных, например пространственную декомпозицию квадрантов изображения. DS FrequencyTree описывает частотную декомпозицию данных, например, волновую декомпозицию изображения. SpaceFrequencyGraph описывает декомпозицию данных одновременно в пространстве и по частоте. Здесь отображение использует частотный и пространственный графы. Граф видеоотображения специфицирует декомпозицию видеоданных в пространстве "координата-время-частота", например декомпозиция видео 3-D-субдиапазона. Наконец, MultiResolutionPyramid специфицирует иерархию проекций аудио-визуальных данных, например пирамиду изображений с разным разрешением.

На рис. 6.37 приведен пример пространственно-частотного графа декомпозиции изображения. Структура пространственного и частотного графа включает элементы узлов, которые соответствуют различным пространственным и частотным проекциям изображения, состоящего из пространственных проекций (пространственные сегменты), частотных (частотные субдиапазоны) и пространственно-частотных (частотные субдиапазоны пространственных сегментов). Структура пространственного и частотного графа включает в себя также элементы переходов, которые содержат анализ и синтез зависимостей между проекциями. Например, на рис. 6.37 S переходы указывают на пространственную декомпозицию, в то время как F переходы отмечают частотную или субдиапазонную декомпозицию.

Рис. 6.37. Пространственно-частотный граф разлагает изображение или аудиосигналы в пространстве "место-время-частота". Декомпозиция изображений, использующая пространственно-частотный граф, делает возможным эффективный доступ и поиск материала при самом разном разрешении

Вариации предоставляют информацию о различных изменениях аудио-визуального материала, такого как резюме, архивированные версии или версии с малым разрешением, а также версии на различных языках — звук, видео, изображение, текст и т.д. Одной из главных функций DS вариаций является разрешение серверу, прокси или терминалу выбрать наиболее удобную вариацию аудио-визуального материала, которая может заместить оригинал, если необходимо, адаптировать различные возможности терминального оборудования, сетевых условий или предпочтений пользователя. DS вариаций используется для спецификации различных вариаций аудио-визуальных данных. Вариации могут возникать самыми разными способами или отражать изменения исходных данных. Значение достоверности вариации определяет ее качество по сравнению с оригиналом. Атрибут типа вариации указывает на характер изменений: резюме, аннотация, язык перевода, уменьшение насыщенности цвета, снижение разрешения, сокращение частоты кадров, архивирование и т.д.

Организация содержимого

MPEG-7 предоставляет DS для организации и моделирования коллекций аудио-визуального материала, сегментов, событий и/или объектов, и описания их общих свойств. Коллекции могут быть далее описаны, используя различные модели и статистики для того, чтобы характеризовать атрибуты элементов коллекции.

DS структуры коллекции описывают коллекции аудио-визуального материала или отрывков такого материала, например, временные сегменты видео. DS структуры коллекции группируют аудио-визуальный материал, сегменты, события или объекты, кластеры коллекций и специфицируют свойства, которые являются общими для всех элементов. DS CollectionStructure описывает также статистику и модели значений атрибутов этих элементов, такие, как усредненная гистограмма цвета для коллекции изображений. DS CollectionStructure также описывает отношения между кластерами коллекций.

На рис. 6.38 показана концептуальная организация коллекций в DS CollectionStructure. В этом примере каждая коллекция состоит из набора изображений с общими свойствами, например, отображает сходные события в футбольном матче. Внутри каждой коллекции могут быть специфицированы отношения между изображениями, такие как степень сходства изображений в кластере. В рамках коллекции DS CollectionStructure специфицирует дополнительные связи, например степень сходства коллекций.

DS моделей предоставляют средства для моделирования атрибутов и характеристик аудио-визуального материала. DS модели вероятности предоставляет собой фундаментальную DS для спецификации различных статистических функций и вероятностных структур. DS модели вероятности могут использоваться для представления образцов аудио-визуальных данных и классов дескрипторов, использующих статистические аппроксимации.

Рис. 6.38.

DS аналитической модели описывает коллекции образцов аудиовизуальных данных или кластеров дескрипторов, которые предоставляют модели для конкретных семантических классов. DS аналитической модели специфицирует семантические маркеры, которые индицируют моделируемые классы. DS аналитической модели опционно специфицирует степень доверия, с которой семантический маркер приписан модели. DS классификатора описывает различные типы классификаторов, которые определяют механизм присвоения семантических маркеров аудио-визуальным данным.

DS UserInteraction характеризует предпочтения пользователей, имеющих отношение к использованию AВ-материала, а также историю его использования. Описания АВ-материала в MPEG-7 могут быть приведены в соответствие с описаниями предпочтений для того, чтобы выбрать и персонифицировать АВ-материал для более эффективного доступа, презентации и использования. DS UserPreference описывает предпочтения для различных типов материала и моделей просмотра, включая зависимость от контекста в терминах времени и места. DS UserPreference задает также вес относительной важности различных предпочтений, характеристики конфиденциальности предпочтений и будут ли предпочтения изменяться в процессе взаимодействия агента с пользователем. DS UsageHistory описывает историю действий, предпринятых пользователем мультимедийной системы. Описания истории использования могут пересылаться между клиентами, их агентами, провайдерами материала и оборудованием и могут быть в свою очередь использованы для определения предпочтений пользователей с учетом характера АВ-материала.