Поиск по фото через Алису — распознавание фото

Уже к середине 2018 года разработчики компании «Яндекс» сумели «научить» голосового помощника Алису распознавать изображение на картинках и фотографиях. Пока система работает не идеально, однако лучшие умы «Яндекса» непрерывно улучшают работу программы.

Как происходит поиск по фото?

Попытки «научить» компьютер различать изображения ведутся уже давно. Специалисты по информационным технологиям и прикладные математики объединили свои усилия и поставили перед машиной задачу классифицировать множество объектов по различным признакам.

Варианты поиска похожей картинки:

• Перебор видов одного и того же объекта под различными углами, с использованием разных масштабов.
• Исследование контуров объектов, определение углов, радиусов и форм.
• Через искусственные нейронные сети. Эти структуры классифицируют объекты и запоминают полученные и обработанные данные. Они способны обучаться в процессе работы, основываясь на результатах выполненных задач.

Как Алиса ищет по фото?

Функционирование сервиса основано на взаимодействии нейронных компьютерных сетей и уникального программного обеспечения, созданного IT-сотрудниками компании Yandex.

Разработчики подчеркивают, что программное обеспечение, управляющее сервисом Алиса, использует методики машинного обучения. Это помогает решать новые задачи, учитывая аналогичный опыт и массу данных.

Сервис создавался для облегчения поиска по изображениям в интернете. У него много различных функций и возможностей.

Алиса подскажет, что видно на фотографии, выдаст полезные тематические ссылки. Если сфотографировать собаку, кота или другое животное помощник сообщит породу, а также интересные сведения о нем.

Можно сделать снимок таблички с текстом (Алиса переведет текст при помощи службы Яндекс.Переводчик). Это полезно, если попался неизвестный указатель с малопонятной надписью в другой стране. Еще можно перевести любую фразу на различные иностранные языки.

С помощью программы можно быстро отыскать требуемый товар на Яндекс.Маркет – достаточно одной фотографии заинтересовавшего товара: кофточки, туфель, автомобиля неизвестной марки.

Как начать работу с Алисой?

Необходимо загрузить на Андроид или iOS браузер Yandex, либо приложение Яндекс Поиск, по умолчанию голосовой помощник там уже есть.

Яндекс Поиск

[ag-appbox googleplay ru.yandex.searchplugin&hl=ru platform=»Android» link=»https://ad.admitad.com/g/4sg9qh5bpt5c1ae38a4ed607c2bbf7/»]

[ag-appbox appstore id1050704155 platform=»AppStore» link=»https://ad.admitad.com/g/hszibk9txu5c1ae38a4e82e8910f05/»]

Яндекс Браузер

[ag-appbox googleplay com.yandex.browser&hl=ru platform=»Android» link=»https://ad.admitad.com/g/34y5hcjxsx5c1ae38a4e0aa7800eed/»]

[ag-appbox appstore id483693909 platform=»AppStore» link=»https://ad.admitad.com/g/yj7kyxk12a5c1ae38a4ea3a38c19f2/»]

В автоматическом режиме установится браузер с функцией голосового помощника. Теперь можно его открыть, нажав на значок в рабочей области экрана.

Примеры поиска по картинкам

В качестве проверки можно попробовать выполнить поиск по фотографиям известных людей, животных, пейзажей, автомобилей. Цель — дать возможность сервису определить тип объекта и убедиться в эффективности работы алгоритма.

Для эксперимента Алисе было предложено определить, что изображено на фотографии.

Фото знаменитостей

Попробуем найти человека по снимку. Для этого можно сделать фото на камеру или загрузить готовую картинку. Как показала практика, Алиса безошибочно узнаёт известных людей не только на цветных кадрах, но и на черно-белых.

Фото автомобилей

Алисе было предложено определить марку автомобиля, с чем она отлично справилась.

Фото животных

Алиса смогла с первого раза определить вид бабочки.

Британский кот также был опознан:

Ещё раз убеждаемся, что официальный ресурс не врёт и Алиса действительно может оказать содействие в определении породы питомцев.

Фото пейзажей

Программа сумела узнать известную парижскую башню.

И рассказала об особенностях горнолыжного курорта.

Фото с текстом на табличках

Алисе также удалось прочитать надпись на табличке с названием улицы.

С надписью на английском Алиса тоже справилась и успешно перевела на русский:

Множество объектов

В конце эксперимента сервису была показана групповая фотография, и с этим Алиса справилась прекрасно.

Польза сервиса

Хотя разработчики прямо заявляют, что над сервисом нужно еще работать не один год, тем не менее уже сейчас его можно использовать.

У Алисы есть конкуренты — помощники со схожими способностями, созданные компаниями Google и Apple, но разработчики Яндекс считают свое детище более гибким и перспективным.

Области применения очевидны:

• Поиск мест по фотографиям – если Вы забыли название какого-то курорта, на котором отдыхали когда-то, Алиса поможет вспомнить и сделает это в большинстве случаев;
• Поиск товаров – например, если нужно купить вещь, которая понравилась – достаточно сделать фото и отыскать ее на торговых площадках Яндекса или в других магазинах;
• Поиск людей – хотя такой эксперимент не проводился, но наверняка можно искать друзей, имеющих аккаунты в социальных сетях, если они опубликовали свои реальные фотографии. Во всяком случае с поиском известных людей Алиса справляется безошибочно.
• Перевод текстов с фотографий – может пригодиться, если в незнакомой местности попалась неизвестная надпись. Алиса использует способность различать шрифты, затем воспользуется Яндекс-переводчиком и выдаст результат.

Ключевое условие работы сервиса — наличие доступа к сети.

Заключение

Сервис Алиса теперь умеет распознавать фотографии. Хотя ряд пользователей говорят об ошибках, которые были замечены при функционировании этой опции, разработчики уверяют, что совсем скоро программное обеспечение станет работать намного лучше, ведь сама Алиса становится «умнее» благодаря технологии машинного обучения.

Программисты и простые пользователи-энтузиасты постоянно участвуют в модернизации программного кода, добавляя сервису больше полезных функций и навыков.

Просмотры: 5 744

Компания Яндекс — Технологии — Яндекс.Картинки и дубликаты изображений

Поиск по картинкам нужен в тех случаях, когда лучше увидеть, чем прочитать. Например, если надо узнать, как выглядит лиса [фенек], фотография зверька будет полезнее длинного текста про строение его ушей и длину хвоста. Иногда картинка — это хороший вспомогательный материал к основному ответу. Например, в результатах поиска по запросу [Айвазовский] будут присутствовать и репродукции его картин.

Яндекс ищет картинки через так или иначе связанный с ними текст, например, расположенное рядом с картинкой описание, её заголовок в html-коде страницы (и alt, и title), заголовок самой страницы или ссылка на картинку с другого сайта. Яндексу известны миллиарды изображений. Четверть из них — уникальные, а остальные — так называемые дубликаты, то есть картинки, которые не отличаются вообще или отличаются незначительно.

Точные дубликаты — абсолютно одинаковые изображения, которые не отличаются ни одним битом.
Тумбнейлерные дубликаты (от англ. «thumbnail» — миниатюра) — изображения, которые различаются только размером, например, репродукция на сайте картинной галереи и маленькая картинка, которая на неё ссылается.
Полудубликаты — картинки c полупрозрачными надписями поверх изображения, незначительной цветокоррекцией, обрезкой или рамкой.
Расширенные полудубликаты — картинки с сильно измененными цветами или пропорциями, а также фрагменты исходных изображений.

У каждого изображения в интернете есть в среднем три дубликата. Чтобы результаты поиска Яндекс.Картинок не состояли из одинаковых изображений, сервис группирует дубликаты и показывает их в результатах поиска «стопками».

Чтобы компьютер мог понять, что изображено на картинках, и распознать дубликаты, изображения нужно «перевести» на понятный ему язык — язык чисел. В Яндекс.Картинках этим занимается специальная компьютерная система, программы которой обходят интернет, находят изображения и обрабатывают их: узнают необходимые данные о картинке, например, размер, цвет, формат (jpg, png и т.п.) и создают числовую характеристику изображения — сигнатуру.

На каждом изображении программа выделяет ключевые фрагменты. Затем уменьшает их до размера 16х16 пикселей, и каждому из 256 пикселей присваивает число, соответствующее яркости этого пикселя. Полученные комбинации чисел и есть сигнатуры.

Программа объединяет в группы изображения, у которых есть похожие ключевые фрагменты (то есть схожи их сигнатуры). Внутри этих групп выделяются еще более близкие изображения — у которых совпадают минимум два фрагмента. Изображения с похожими фрагментами становятся кандидатами в дубликаты. В них программа выделяет области, объединяющие все совпавшие фрагменты. Следующим шагом эти области уменьшаются до размера примерно 60х60 пикселей, переводятся в числовую характеристику и сравниваются между собой. Дубликатами признаются изображения, у которых области совпадают.

У большинства изображений в интернете есть текстовые описания — их и используют Яндекс.Картинки при поиске. Если дубликаты размещены на нескольких разных сайтах, то, скорее всего, у них существует несколько разных описаний. При группировке дубликатов изображения Яндекс.Картинки объединяют их описания. Это позволяет определять наиболее частые фрагменты описания, тем самым улучшая точность поиска.

Допустим, у фотографии длинного синего запорожца есть сорок дубликатов. Пятнадцать из них подписаны «запорожец», десять — «синий запорожец», пять — «зелёный запорожец» и ещё десять — «лимузин».

Если поделить количество упоминаний каждого слова в подписях на общее число картинок, получится, что степень правдоподобия описаний следующая:

[запорожец] — 0.75 (30 картинок из 40)

[синий] — 0.25 (10 картинок из 40)

[лимузин] — 0.25 (10 картинок из 40)

[зеленый] — 0.125 (5 картинок из 40)

Соответственно, эта фотография будет релевантным ответом на запросы [синий запорожец] или [запорожец лимузин], хотя последнего словосочетания изначально в описаниях не было. Если у дубликатов встречаются противоречащие друг другу описания, как «синий» и «зелёный» в этом примере, то выбирается наиболее частое.

Все дубликаты найденной картинки пользователи могут увидеть на странице просмотра изображения. Там есть список «Копии картинки» и ссылка на страницу со всеми известными Яндексу дубликатами. С помощью этого списка, пользователь может выбрать подходящий размер искомой картинки, автор изображения найти поклонников своего творчества, а веб-мастер — узнать, в каком фотобанке можно приобрести нужное изображение.

Распознавание дубликатов используется не только на сервисе Яндекс.Картинки. Например, оно помогает лучше определять сайты, содержащие материалы для взрослых, и учитывать их при включении семейного и умеренного фильтра. В базе сигнатур есть числовые характеристики изображений с порносайтов, известных Яндексу. Если сигнатуры новых картинок совпадают с ними, то ресурс, на котором они были найдены, подвергнется дополнительной проверке. Специальная программа изучит подозрительный сайт и подтвердит или опровергнет наличие на нём материалов для взрослых. Такие сайты и изображения с них пользователь может убрать из результатов поиска, включив фильтр «Семейный поиск».

Чаще всего пользователи копируют изображения знаменитостей и товаров. Количество дубликатов одного изображения — это может быть, например, фотография популярного сотового телефона — порой достигает нескольких десятков тысяч. Примерно на каждый сайт приходится 460 изображений. Средний размер одной картинки — 300х500 пикселей.

новые возможности поиска по фото и картинкам с телефона

Алиса облегчает выполнение многих задач. Одной из удобных и полезных функций помощника является умение работать с фотографиями: распознавать предметы, обрабатывать текст и расшифровывать QR-коды.

Обзор функции «Поиск по фото»

Функция «Поиск по фото», которая включает в себя все возможности Алисы по обработке контента, содержащегося на картинке, на данный момент доступна на всех устройствах, работающих под управлением операционной системы Android (версии 6.0 и выше) и iOS (версия 9.0 и выше). Приложение «Яндекс» с встроенным помощником Алисой бесплатно распространяется для обеих операционных систем в официальных магазинах: Play Market и App Store.

Открыв приложение, вы должны перейти к Алисе. Для этого нажмите на её иконку — белый треугольник на фоне фиолетового круга.

Открываем Алису

Есть два способа активации работы с фото:

• сказать кодовую фразу «Алиса, сделай фото»;
• нажать на иконку в виде фотокамеры и лупы, расположенную в нижнем левом углу.

  Нажимаем на иконку с фотоаппаратом и лупой

Далее нужно пройти следующие этапы:

1. Откроется приложение, способное сделать фото. Учтите, этого не произойдёт, если вы не дадите Алисе доступ к камере. Когда появится сообщение «Разрешить данному приложению доступ к камере», нажмите «Разрешить». Если вы хотите загружать уже сделанные фотографии из «Галереи», дайте Алисе доступ к медиаэлементам.

   Для работы Алисе нужно получить разрешения

2. У вас есть выбор: сделать новое фото или загрузить снимок из «Галереи». Если вам нужен второй вариант, то перейдите к «Галерее», нажав на иконку с фотографиями, расположенную в нижнем правом углу, а после выберите нужную картинку.

   Фото можно выбрать из «Галереи»

Возможные функции обработки фотографии

Научившись показывать фотографию Алисе, вы можете воспользоваться одной из функций помощника. Дождавшись завершения обработки снимка, нажмите на кнопку, появившуюся внизу или вверху фото, или произнесите кодовую фразу.

Определение объекта

Алиса может предположить, что изображено на снимке. Для этого нужно загрузить фотографию, где предмет, который нужно распознать, расположен на переднем плане и не перекрыт другими предметами. Чем больше деталей видно, тем больше вероятность того, что Алиса сможет правильно определить название предмета.

Алиса может предположить, что изображено на фото

Поиск похожих изображений

Определив, что изображено на картинке, Алиса может отыскать другие фотографии этого же и похожих предметов в интернете.

Чтобы воспользоваться функцией, дождитесь того момента, когда Алиса опознает предмет, а после нажмите кнопку «Посмотреть похожие картинки» или «Найти это в Яндексе», если хотите найти сайты, имеющие информацию об этом предмете.

Алиса может найти похожие снимки

Определение знаменитости

Если на снимке находится лицо известного человека, помощник может подсказать, как его зовут, и предоставить информацию о нём. Также можно попробовать загрузить снимки своих знакомых: если они часто размещают свои фотографии в различных открытых источниках, Алиса сможет их опознать.

Чтобы активировать функцию, произнесите кодовую фразу «Кто на фото?», а после загрузите в диалог нужную фотографию.

Алиса может определить человека на фотографии и предоставить информацию о нём

Распознавание текста и его перевод

Если на картинке есть текст, Алиса может найти его и отправить вам в виде сообщения (удобно, если нужно быстро просканировать страницу и захватить с неё текст, чтобы не перепечатывать весь текст вручную). Для поиска текста необходимо сказать фразу «Распознай текст» и загрузить изображение, на котором чётко виден текст.

Загружаем картинку с текстом и сканируем её

Если же текст на иностранном языке, можно сразу перевести его при помощи «Яндекс.Переводчика». Кодовая фраза для активации функции: «Распознай и переведи текст».

Алиса может найти текст и перевести его

Определение марки

Если на фото автомобиль, Алиса сможет указать его модель и марку, а также предоставить другую информацию по запросу. Для использования функции понадобится фотография автомобиля в хорошем качестве, желательно, чтобы она была сделана издалёка, ведь так будет видно больше деталей, по которым Алиса сможет определить точную марку. Фраза, активирующая поиск: «Определи марку автомобиля».

По фотографии Алиса может определить марку автомобиля

Определение породы

Покажите Алисе фото с животным, чтобы она предоставила информацию о нём. Помощник определит не только его вид, но и подскажет, какой он породы. Желательно показывать фотографию животного в полный рост, чтобы Алиса могла оценить все его признаки и отнести к тому или иному виду. Фраза, активирующая поиск: «Распознай животное».

С помощью Алисы можно определить вид и породу животного

Определение растения

Показав помощнику фото с растением, можете попросить предоставить информацию о его виде. Для запуска поиска произнесите фразу «Распознай растение».

По фото Алиса может определить вид растения

Определение объектов искусства

Алиса может рассказать, какая картина на фото и кто её автор. Для этого нужно загрузить картинку с фрагментом картины или её фото в полный размер и использовать команду «Распознай картину».

Определить картину и автора с помощью Алисы очень легко

Поиск товара

Если на фото есть какой-то предмет, Алиса может отыскать его (или сходный с ним предмет) в «Яндекс.Маркете», сервисе от «Яндекс», позволяющем найти оптимальную цену и качество среди всех предложений в интернете.

Есть два способа активации поиска:

• произнести фразу «Определи товар»;

  Чтобы активировать поиск товара, произнесите фразу «Определи товар»

• нажать на кнопку «Искать на Яндекс.Маркете», появляющуюся после определения вещи.

  Алиса может отыскать изображённый на фото (или сходный с ним предмет) в «Яндекс.Маркете»

Распознавание QR-кода

На многих товарах присутствует QR-код, содержащий достаточно много информации о товаре и его производителе. Также QR-коды иногда используют, чтобы быстро перенаправить пользователя на определённый сайт.

Алиса может прочитать, какую информацию содержит в себе код:

1. Используйте команду «Распознай QR (кью эр) код».

   Сначала используйте команду

2. Загрузите фотографию квадрата с кодом. Изображение должно быть чётким, иначе можно получить ложную информацию, так как код будет прочитан неверно.

   Загрузите фото с QR-кодом

Видео: обзор возможностей Алисы

Алиса умеет работать как с новыми снимками, так и с теми картинками, которые уже сохранены в память телефона. Она может найти информацию о животных, растениях, автомобилях, людях и любых других предметах, а также считать QR-код. Чтобы повысить эффективность распознавания, показывайте Алисе чёткие фотографии, на которых один объект расположен по центру.

Оптическое распознавание текста (OCR) | Яндекс.Облако

В этом разделе описано, как работает возможность распознавание текста (Optical Character Recognition, OCR).

Подготовка запроса на распознавание

В запросе вы указываете список возможностей для анализа, которые необходимо применить к изображению. Чтобы распознать текст, используйте тип TEXT_DETECTION и задайте список языков в конфигурации.

Конфигурация запроса

В конфигурации указывается:

• список языков, на основе которого будет определена языковая модель для распознавания.

  Если вы не знаете язык текста, укажите "*", чтобы сервис выбрал наиболее подходящую модель автоматически.

• модель, которая будет использована для поиска текста на изображении. Доступные модели:

  • page (по умолчанию) — подходит для изображений с любым количеством строк текста.

  • line — подходит для распознавания одной строки текста. Например, если вы не хотите передавать изображение целиком, вы можете вырезать строку и отправить на распознавание только ее.

    На изображении должна быть только одна строка текста, а высота текста должна быть не меньше 80% от высоты изображения, иначе результаты распознавания с моделью

    line будут непредсказуемы. Пример правильного изображения:

    

Определение языковой модели

Для распознавания текста в сервисе используется языковая модель, обученная на определенном наборе языков. Модель выбирается автоматически на основе списка языков, который вы указываете в конфигурации.

При каждом распознавании текста используется только одна модель. Например, если на изображении текст на китайском и японском, то распознан будет только один из этих языков. Чтобы распознать оба этих языка, укажите в запросе несколько возможностей для анализа с разными списками языков.

Совет

Для текста на русском и английском лучше всего работает англо-русская модель. Чтобы использовать ее, укажите один из этих языков или оба в

text_detection_config, но не указывайте другие языки.

Требования к изображению

Изображение в запросе должно соответствовать следующим требованиям:

• Поддерживаемые форматы файлов: JPEG, PNG, PDF.

  MIME-тип файла вы указываете в свойстве mime_type. По умолчанию image.

• Максимальный размер файла: 1 МБ.

• Размер изображения не должен превышать 20 мегапикселей (длина x ширина).

Ответ с результатами распознавания

Сервис выделяет найденный текст на изображении и группирует его по уровням: слова группируются в строки, строки в блоки, блоки в страницы.

В результате сервис возвращает объект, где для каждого из уровней дополнительно указывается:

• страницы (pages[]) — размер страницы;
• блоки текста (blocks[]) — расположение текста на странице;
• строки (lines[]) — расположение и достоверность распознавания;
• слова (words[]) — расположение, достоверность, текст и язык, использованный при распознавании.

Чтобы показать расположение текста, сервис возвращает координаты прямоугольника, обрамляющего текст. Координаты — количество пикселей от левого верхнего угла на изображении.

Координаты прямоугольника считаются от левого верхнего угла и указываются против часовой стрелки:

Пример распознанного слова с координатами:

{
  "boundingBox": {
    "vertices": [{
        "x": "410",
        "y": "404"
      },
      {
        "x": "410",
        "y": "467"
      },
      {
        "x": "559",
        "y": "467"
      },
      {
        "x": "559",
        "y": "404"
      }
    ]
  },
  "languages": [{
    "languageCode": "en",
    "confidence": 0.9412244558
  }],
  "text": "you",
  "confidence": 0.9412244558
}

Достоверность распознавания

Достоверность распознавания показывает уверенность сервиса в результате. Например, значение "confidence": 0.9412244558 для строки we like you означает, что с вероятностью в 94% текст распознан корректно.

Сейчас достоверность считается только для строк. В значение confidence для слов и языка подставляется значение для confidence строки.

Что дальше