В современном Интернете существует несколько способов поиска изображений.

Первый — универсальный поиск по косвенным признакам. Он в общем то незначительно отличается от поиска веб-страниц, поскольку, проводится анализ сайта на различные элементы: имена файлов, теги HTML-разметки, ссылки, подписи и тексты, находящиеся рядом с картинкой на веб-странице. Такой способ позволяет использовать накопленные индексные базы и обеспечивает широкий охват ресурсов. Поисковый запрос состоит из вводимых пользователем ключевых слов. Сравнительно ограниченные дополнительные возможности позволяют фильтровать изображения по размеру, цветности и другим подобным признакам. В то же время при таком поиске неизбежен значительный процент ошибок и информационного шума.

Впрочем, результаты поиска изображений можно улучшить, подключив человека к процессу индексирования. Именно такой подход применяется на многочисленных фотохостингах и фотосервисах, когда задачи описания содержимого изображений возлагается непосредственно на пользователей, например, с помощью подробных «анкет» изображений, предполагающих достаточно качественное и детальное описание. Однако гораздо шире распространен фолксономический подход со свободным индексированием с помощью тегов. У такого способа также есть свои достоинства и недостатки. С одной стороны, действительно, мало кто может рассказать о фотоснимке лучше автора. С другой — качество индексирования сильно зависит от его терпения, ведь далеко не у каждого хватит желания и свободного времени подробно проиндексировать сотню-другую загружаемых снимков.

Третья основная технология индексирования и поиска изображений связана с попытками автоматического распознавания картинок. Общее ее наименование — контекстный поиск изображений (Content Based Image Retrieval, CBIR). В ходе индексирования графики CBIR-система работает не с косвенными текстовыми признаками, о которых упоминалось выше, а непосредственно с характеристиками изображения. Индексируются цветовая гамма картинки и текстуры, распознаются и записываются очертания предметов и их расположение в кадре. Полученные данные используются для формирования запроса или же для сравнения картинок, чтобы выявить визуально похожие изображения.

Преимущество CBIR-поисковиков состоит в том, что автоматизированный процесс индексирования затрагивает визуальные характеристики изображения. Кроме того, данная технология предлагает пользователям оригинальные средства составления поисковых запросов. В то же время CBIR — не панацея, она имеет свои ограничения. Как следствие, лучшие CBIR-поисковики обычно предлагают комбинированные инструменты, объединяющие возможности нескольких технологий индексирования.

Заметим, что визуальные контентные алгоритмы уже давно работают в системах интернет-поиска в составе «семейных фильтров», однако в последнее время появились несколько поисковиков, сделавших CBIR-технологии основным средство индексирования и составления запросов. Это привело к интересным результатам. Более того, стиль работы с подобными сервисами существенно отличается от привычного поиска картинок по ключевым словам. Именно такой поисковик стал героем обзора.

Финский поисковик Tiltomo — независимый экспериментальный проект, использующий в своей работе базу Flickr, точнее две тестовые выборки из этой базы, имеющие общий объем в несколько сотен тысяч фотографий. Первая представляет собой выборку снимков, загруженных на Flickr за последние сутки, вторая — фото из группы Catchy Colors. Именно в этой базе лучше всего работают инструменты анализа изображений. Переключиться между базами можно перед началом поиска.

Просмотр начинается либо с предполагаемого случайного набора снимков, либо с поиска по ключевому слову-тегу. Далее к полю ввода запроса можно не обращаться — Tiltomo работает как каталог, производя по требованию пользователя дополнительную фильтрацию выводимых фото. Все контентные инструменты фильтрации и сортировки собраны на странице выдачи. На ней выводятся три десятка снимков, соответствующих первоначальному запросу. Дальнейшее уточнение запроса происходит не привычным добавлением дополнительных ключевых слов к нему, а с помощью визуальных инструментов. Рядом с каждой миниатюрой появляются две ссылки: Find Similar by Theme («Найти похожие по тематике») и Find Similar by Color/Texture («Найти похожие по цвету и текстуре»). Первая из них проводит поиск по ключевым словам, которыми помечено выбранное изображение. Этот способ хорош для быстрой обработки синонимов, поскольку позволяет оставить в выдаче только тематические изображения. Вторая ссылка запускает собственно контентный анализ картинки. В результате будут получены визуально похожие на нее изображения. Цикл можно повторять, выбирая в выдаче понравившиеся картинки. К сожалению, эти два режим работают независимо друг от друга. Так что не удастся, например, сначала ограничить выдачу определенной темой и потом подобрать в ней изображения со схожим внешним видом — переключение к контентному анализу сбивает тематический фильтр, что не очень удобно.

Третий способ сортировки найденного — фильтр Show ONLY images from the reference photographer. Он переключает Tiltomo в режим поиска снимков конкретного автора. Здесь каких-либо инноваций нет, все работает в привычном по другим поисковикам стиле.