RIW-2008

Проблема поиска и классификации мультимедийного контента в Интернете

1. Роль мультимедийного контента в Интернете и проблема эффективности его поиска.
2. Два типа источников мультимедийной информации — «профессиональный» и созданный пользователями (UGC) контент.
3. Особенности поиска изображений людей.
4. Новые возможности поиска, классификации и фильтрации визуальной информации на основе содержательного анализа контента.

rn

1. Роль мультимедийного контента в Интернете и проблема эффективности его поиска
В сегодняшнем Интернете неуклонно возрастает роль мультимедийного контента. Информация этого типа, в отличие от базовых для Интернета текстовых данных, значительно сложнее поддается анализу, содержательной идентификации и классификации — и, следовательно, поиску. Для этих целей необходимо использовать принципиально новые технологии.

rn

2. Два типа источников мультимедийной информации — «профессиональный» и созданный пользователями (UGC) контент
Основные источники видео- и графического контента в Сети — это профессиональные создатели контента («контент-провайдеры») и пользователи.
(а) «Профессиональным» можно назвать контент, который был изначально создан с целью использования другими лицами, т.е. пользователями. Контент такого рода предназначен для того, чтобы быть найденным — снабжен аннотацией и метками (тегами), правильно классифицирован. Примеры — фотостоки, специализированные видео архивы и т.п.
В применении к профессиональному контенту достаточно хорошо работает современный поиск, основанный на анализе текстовых данных, относящихся к изображению/видео.
(б) Контент, создаваемый пользователями (User Generated Content, UGC), — быстро развивающийся вид контента, представляющий собой один из актуальнейших трендов Интернета. Создатели такого контента зачастую не прилагают достаточных (и вообще каких-либо) усилий для того, чтобы их информацию было легко найти.
В данном случае поиск на основе текста малоэффективен, но может помочь знание содержания непосредственно мультимедиа-данных.

rn

3. Особенности поиска изображений людей
Поиск изображений человека сегодня реализуется, как любой поиск информации, на основе сопровождающей текстовой информации, что далеко не всегда дает нужный результат — вплоть до того, что на найденных картинках не будет изображения человека вообще.
Кроме того, в отличие от объектов и предметов, уникальность человека не может быть вполне исчерпывающе обозначена его именем собственным — так, в мире есть только одна Россия, где есть только одна Москва и только один Кремль, тогда как количество людей с фамилией Иванов — тысячи и тысячи.
Для решения проблемы поиска изображений персонажей необходим семантический анализ контента (на предмет наличия или отсутствия на нем собственно человека), а также поиск изображений по принципу подобия (похожести).

rn

4. Новые возможности поиска, классификации и фильтрации визуальной информации на основе содержательного анализа контента
Интеллектуальная система анализа содержания мультимедийного контента может быть реализована на основе технологий компьютерного зрения, которые позволяют в автоматическом режиме распознавать содержание графических данных. С помощью технологий компьютерного зрения могут быть решены, например, следующие задачи:

  • Определение наличия на изображении человеческого лица или нескольких лиц,
  • Распознавание заданного объекта на изображениях,
  • Поиск изображений, подобных указанному образцу,
  • Выявление изображений, сделанных внутри помещения / в городе / на природе,
  • Поиск изображений, удовлетворяющих определенным визуальным характеристикам (объекты похожего цвета/формы, ночная съемка, сходная фаза движения объектов, и т.п.).
rn
Анализ контента позволит не только повысить эффективность поиска мультимедийной информации, но представить результаты поиска в более удобном виде, а также дифференцировать доступ к ним:
  • Группировка результатов поиска — по содержанию или по сходству некоторых указанных визуальных характеристик;
  • Фильтрация нежелательного контента в результатах поиска — отсечение, например, изображений «только для взрослых».
rn
Интеграция технологий анализа мультимедийного контента на основе компьютерного зрения с существующими и развивающимися технологиями семантического анализа и поиска информации на базе текстовых данных откроет новый этап развития взаимоотношений человека с Интернетом.