Новый поиск похожих картинок — Блог Яндекса
5 декабря 2014, 12:46
Осенью прошлого года в Яндекс.Картинках появился поиск по загруженному изображению. Это была первая реализация нашей технологии компьютерного зрения «Сибирь». Специальный алгоритм разбивает загруженную картинку на визуальные слова и с их помощью сопоставляет её с миллиардами известных ему изображений, отбирая дубликаты.Такой подход позволял искать копии картинки или её варианты: например, ту же картинку другого размера или, скажем, без подписей. Однако уже тогда поиск показывал первые способности к обобщению — и в некоторых случаях находил не просто копии загруженной картинки, а другие изображения, содержащие такой же объект.
Недавно мы дополнили «Сибирь» технологией, основанной на глубоких нейронных сетях. Благодаря этому в Яндекс.Картинках теперь можно искать не только копии данного изображения, но и похожие на него картинки. Другими словами, вы можете найти не разные варианты самой картинки, но разные варианты того, что на ней изображено. Например:
Такой поиск особенно хорош, когда точных копий загруженного изображения в интернете нет, но похожие на него картинки отлично решают вашу задачу. Например, если вы сфотографировали аллею с уходящими вдаль деревьями, то с помощью Яндекс.Картинок легко можете найти разные варианты таких аллей и выбрать из них подходящую по размеру и качеству картинку, чтобы поставить её на рабочий стол.
Даже если в интернете есть копии загруженной картинки, похожие расширят и дополнят ответ поиска. Скажем, по фотографии кроссовок, загруженной в Яндекс.Картинки, вы найдёте изображения этих кроссовок в разных ракурсах, и, возможно, другие модели, похожие на них.
В интерфейсе сервиса похожие изображения отделены от точных копий. А если копий не нашлось, то Картинки покажут только похожие результаты.
Компьютер «видит» изображения совсем иначе, чем человек, поэтому среди найденных картинок могут оказаться и не совсем, на наш взгляд, похожие. Например, среди фотографий машин, похожих на загруженную, не обязательно будут машины той же марки и модели. В будущем мы надеемся сделать поиск по картинке ещё точнее и научить его давать развёрнутый ответ на ваш запрос, а именно — распознавать и описывать то, что изображено на загруженной картинке.
Технология поиска похожих изображений — Блог Яндекса
Поиск изображений в интернете уже давно стал привычным: пользователь ожидает от поисковой системы точного, быстрого и полного ответа так же, как и при поиске текстовой информации. Большинство популярных поисковых систем следом за поиском веб-страниц с текстовой информацией начали работать над поиском изображений.
Компания Picsearch выпустила первую публичную версию поиска по изображениям в сентябре 2001 года. В июле того же года запустил свой поиск по картинкам Google. Яндекс.Картинки официально открылись в июле 2002 года, став первым российским поисковиком, ищущим изображения. В ноябре 2003 г. Yahoo! добавил справа от поисковой строки меню с опцией поиска по изображениям в том числе.
На начальном этапе своего существования поиск изображений основывался исключительно на извлечении и анализе метаданных, связанных непосредственно с изображениями: атрибутов alt, заголовков страниц и текстов ссылок на изображения. Постепенно для поиска изображений стали учитывать также и текст, расположенный на той же веб-странице, что и картинка. Таким образом, задача поиска изображений некоторое время ограничивалась нахождением всей возможной относящейся к нему текстовой информации, и определением степени правдоподобия, с которой эта информация относится именно к изображению.
Параллельно с поиском изображений по метаданным развивалось, и продолжает успешно развиваться, другое направление – поиск изображений по их содержанию. Этот вид поиска основывается на технологии компьютерного зрения. Она призвана обучить машину смотреть на изображение глазами человека, понимать и анализировать его содержимое: цвета и формы объектов, их текстуру, взаимное расположение. Набор метаданных, характеризующих изображение, ограничен, а компьютерное зрение позволяет значительно расширить количество атрибутов, которые учитываются при поиске картинок и ранжировании результатов.
Наглядным примером внедрения технологии поиска изображений по содержанию являются разнообразные фильтры в расширенном поиске Яндекс.Картинок: преобладание цвета, клипарт, графика, фотография, портрет. В основе работы этих фильтров – анализ одного или нескольких свойств изображения: цвет, градиенты, наличие однородного фона и другие. Каждый раз, когда пользователь включает тот или иной фильтр, происходит сравнение всех найденных изображений с некой абстрактной моделью-образцом, которая идеально соответствует данному типу изображения. Таким образом из результатов поиска исключаются изображения, не обладающие свойствами этой идеальной модели, либо обладающие ими не в той степени.
Более сложная задача, которая решается с помощью технологии поиска изображений по содержанию, — это поиск похожих изображений.
Какие картинки более схожи между собой?
Разные
люди по-разному ответят на этот вопрос. Для одних – важнее цветовая
схожесть, для других – схожесть форм, для третьих – текстур, а иногда —
всё вместе в одинаковой пропорции. Какие же критерии являются
определяющими? Даже человек, не говоря уже о машине, затрудняется порой
объяснить, на чём основан его выбор в данном конкретном случае. Это
всегда совокупность факторов при частом доминировании одного из них.
Сложность в том, чтобы обучить машину понимать, какой фактор важнее в
каждом конкретном случае. К тому же при поиске похожих изображений, в
отличие от упомянутой выше работы фильтров, сравнение каждый раз
происходит с новой картинкой-образцом, а не с одной и той же моделью.
Для этого нужно обучить машину анализировать не отдельные свойства
изображения, а всю их совокупность. Она должна за сотые доли секунды
находить среди миллионов проиндексированных картинок изображения,
максимально похожие на картинку-образец, учитывая при этом представления
о похожести у разных пользователей.
На Яндекс.Картинках появилась первая версия поиска похожих изображений. В результатах поиска рядом с большинством картинок можно увидеть ссылку «похожие», при клике на которую открывается страница с изображениями, похожими на выбранное. Таким образом, используются оба направления поиска изображений — картинка-образец ищется по метаинформации, а похожие — с помощью технологии поиска изображений по их содержанию.
Конечно, мы будем совершенствовать поиск похожих изображений и дальше развивать функционал Яндекс.Картинок. Результаты можно будет увидеть в самое ближайшее время 🙂
Александр Крайнов, Николай Штуркин и команда Яндекс.Картинок
«Как по фото найти информацию?» – Яндекс.Знатоки
В Яндекс или Google картинках загрузите любое изображение или фотографию и сервисы Вам предоставят информацию о том, кто изображен на фото (если это известная личность), какой объект, что за место и т. д. Если же будете загружать фотографию обычного человека или случайного места, то сервисы покажут похожие изображения, помимо этого предоставят список сайтов, с помощью которых Вы сможете найти необходимую информацию. Помимо этого существует еще ряд сайтов, где можно выполнить поиск по фотографии и получить дополнительные сведения о ней. К таким сервисам относится:
- Pic2Map;
- TinEye;
- Jeffrey’s Image Metadata Viewer;
- IMGonline;
- FindFace и т. п.
—
Найти больше информации Вы сможете, когда поймете, как работают подобные сервисы. Если в кратце, то есть такое понятие, как метаданные фотографии — информация о свойствах и признаках того или иного фото (тип камеры, модель телефона, имя, местонахождения и другие данные о нас и нашем устройстве ). Для большего понимания понятия, в статье «Метаданные – как узнать, где была сделана фотография?» есть прекрасное описание по этому поводу: «Цифровая фотография (то, что мы видим и анализируем с внешней стороны) является своего рода пирогом, который испекла любящая мама и поставила на стол – мы видим его, но не знаем, что внутри. Метаданные – информация о том, как и где была сделана фотография, название города или достопримечательности, время, дата, устройство, т. е. другими словами – пирог в разрезе, когда уже можем сказать о структуре, цвете, о том какие ингредиенты внутри, в каком виде, количестве, объеме, какой у него вкус и т. д. »
В целом, любой текстовый документ, файл или графический материал (т. е. видео или фотография, о который Вы спрашиваете) созданный нами с помощью компьютера или мобильного устройства имеет часть скрытой информации — именно она и позволяет находить нам информацию о человеке или объекте.
Что вы видите на этой картинке? — Блог Яндекса
25 марта 2015, 13:11
Распознавание изображений — одна из самых сложных задач для компьютера. Мы уже рассказывали о том, как устроено компьютерное зрение и как оно применяется в наших сервисах — например, при поиске похожих изображений в Яндекс.Картинках. Теперь технология компьютерного зрения работает и в Яндекс.Диске — благодаря ей вы можете найти изображения форматов JPEG, GIF и PNG, содержащие текст поискового запроса. Достаточно ввести в поисковую строку нужное слово, и система найдёт на Диске картинки, на которых оно встретится. В результатах поиска вы увидите изображения с этим словом, документы, в тексте которых оно содержится, а также файлы и папки, в названиях и описаниях которых есть это слово.Когда на Диске тысячи фотографий, разложенных по разным папкам, поиск по текстам позволит быстро найти среди них нужную. Например, скан договора с названием вроде scan723.JPG или фотографию визитки человека, с которым понадобилось связаться. Искать можно не только документы, но и любые фотографии, которые сделаны для того, чтобы сохранить текст, будь то объявление на двери подъезда или любопытный рекламный плакат в метро.
В основе поиска текстов на изображениях лежит технология оптического распознавания символов. Систем распознавания, опирающихся на эту технологию, много, и все они разные. Какие-то решают определённую задачу, например распознают партитуры, какие-то работают только с чистым текстом. Для Яндекс.Диска мы разработали свою универсальную систему, способную распознавать текст на картинках разных по виду, содержанию и, главное, качеству.
Система состоит из двух частей — классификатора картинок и модуля распознавания. Сначала классификатор, глубокая нейронная сеть, отбирает из всех картинок те, на которых изображён текст. Он учится отличать их от прочих на огромной базе изображений. Использование машинного обучения позволяет добиться высокого качества распознавания — ведь алгоритм опирается не на какие-то вручную заданные правила, а на опыт анализа миллионов разных картинок. Когда изображения с текстом отобраны, алгоритм находит на них линии, предположительно содержащие текст, — различать их помогает ещё одна нейронная сеть. На следующем этапе алгоритм оставляет только те линии текста, в которых он уверен.
Затем модуль распознавания разбивает линии текста на отдельные символы. Для каждого символа алгоритм выбирает несколько наиболее вероятных вариантов распознавания среди известных ему. Например, это могут быть буквы «О», «о» и цифра «0», очень похожие друг на друга. После этого в дело вступает языковая модель — алгоритм принимает решение, какой из символов-кандидатов подходит лучше всего. Языковая модель опирается на словари и учитывает не только сходство символов с теми, что знает система, но и контекст, то есть соседние символы. Если из нескольких вероятных символов складывается известное системе слово, то она может принять решение, что на картинке написано именно оно. Даже если некоторые символы-кандидаты в этом слове менее вероятны, чем другие.
Конечно, точность распознавания текста (а значит, и успех поиска) зависит от типа изображения, его чёткости, фона, на котором находится текст, и многих других факторов. Поэтому для разных видов изображений она разная. Например, для отсканированных документов точность распознавания текстов на русском языке составляет около 80%, для фотографий с надписями — 63,2%, а для скриншотов приближается к 100%. Помимо русского языка, система также распознаёт английский, украинский и турецкий. Точность распознавания текстов всего потока изображений более 70%. Это неплохой результат, но мы будем работать над его улучшением.