+7 499 350-21-34 Telegram MAX WhatsApp info@agenty-ai.ru
Агенты ИИ 3D-карта обсудить проект
кейс 08 · направление 03 · ИИ для приложений

Поиск по фото в приложении ритейлера: 8 недель до сторов

Сеть магазинов товаров для дома, 40 000 позиций в каталоге. Покупатель видел лампу у знакомых, фотографировал, а дальше тупик: текстовый поиск требовал название, которого никто не знал. Ниже история одной функции: от выбора метрики до ревью в сторах.

Клиент под NDA: имя не разглашаем, потому что связаны договором о неразглашении, для наших контрактов это обычное условие. Отрасль, задача, ход работ и цифры настоящие.

8 недель от встречи до сборки в сторы
секунда на распознавание фото
+12 % к добавлению в корзину
Иллюстрация кейса 08: поиск по фото в приложении ритейлера
01 / задача

Что было до внедрения

Запросы вида «такая же, как на фото» приходили в чат поддержки, и операторы честно листали каталог глазами. Большинство покупателей не писали никому: просто уходили искать по картинке туда, где это работало.

Команда приложения понимала, что теряет корзины, но не могла оценить сколько. Замер на пилоте показал: заметно больше, чем закладывали в худшем сценарии.

  • 40 000 позиций в каталоге
  • покупатель не знал названия товара
  • текстовый поиск не находил «как на фото»
02 / решение

Как внедряли

шаг 1

Выбор функции и замер

Одна функция с измеримым эффектом: поиск по фото, метрика: добавление в корзину. Никакого «ИИ вообще» в задаче не было.

шаг 2

Прототип на каталоге

За две недели собрали прототип на живом каталоге и прогнали через него настоящие фото покупателей: мятые, тёмные, под углом.

шаг 3

Разбор на устройстве

Фото разбирается на телефоне, в облако летит только запрос к каталогу. Батарею не ест, персональные данные не путешествуют.

шаг 4

Сборка и ревью сторов

Пакет для сторов собрали до отправки: возрастной рейтинг, жалобы на контент, описание данных. Ревью прошли с первого раза.

03 / как это выглядит

Контур решения

Схема: фото, разбор на устройстве, запрос к каталогу, карточка товара. Приложение заказчика под NDA.
Схема: фото, разбор на устройстве, запрос к каталогу, карточка товара. Приложение заказчика под NDA.
Павел Ерохин, дизайнер

«Мы нарочно тестировали на худших фото: ночная кухня, полсветильника в кадре, палец на объективе. Когда поиск стал справляться и с такими, стало ясно, что функция готова к живым людям.»

Павел Ерохин, дизайнер
04 / результат

Цифры после запуска

8 недельот первой встречи до сборки
секундана распознавание фото
+12 %к добавлению в корзину
1 проходревью в сторах, без возвратов

От первой встречи до сборки в сторы прошло восемь недель. Поиск отвечает за секунду, добавления в корзину выросли на 12 %, и это на функции, которую покупатели даже не просили вслух: они просто уходили без неё.

Услуга по теме: направление 03 «ИИ для разработки» · все кейсы студии

05 / под капотом

Что внутри решения

Фотография превращается в набор признаков, и по нему ищется ближайший товар каталога. Тяжёлое считается там, где есть ресурсы.

Где считаетсяНа новых устройствах локально, на старых на сервере со сжатым кадром
Индекс каталогаСорок тысяч позиций, включая фотографии из отзывов покупателей
Связано сКаталог и корзина приложения: из результата сразу в карточку товара
ПлатформыiOS, Android и RuStore, одна логика на все три
Что видит заказчикДоля поисков без результата: она показывает дыры в каталоге
06 / кому подходит

Каталоги, где товар легче показать, чем назвать

Поиск по фото оправдан там, где покупатель не знает названия: мебель, свет, сантехника, отделка, запчасти. В категориях, где ищут по бренду и модели, он не нужен.

Порог по каталогу примерно от пяти тысяч позиций, и у каждой должна быть приличная фотография. Каталог из тысячи товаров человек пролистает глазами быстрее, чем сфотографирует. Ещё одно условие: у вас уже должно быть приложение, встраивать функцию в несуществующее приложение мы не беремся.

  • От 5 000 позиций с фотографиями приличного качества
  • Категория, где название товара покупатель обычно не знает
  • Приложение уже существует и обновляется
  • Не подойдёт, если ищут по бренду, модели или артикулу
07 / методика

Как считали эти цифры

Прирост корзины на 12 процентов сравнивался не со всем приложением, а с сопоставимой группой пользователей.

Функцию выкатывали постепенно: сначала половине пользователей приложения. Прирост считали между теми, у кого поиск по фото появился, и теми, у кого его ещё не было, за один и тот же период. Это убирает сезон и рекламу из расчёта.

Добавление в корзину считали по событию аналитики приложения, а не по продажам: между корзиной и оплатой стоит слишком много всего, и приписывать себе выручку было бы нечестно.

Секунда на распознавание это медиана по замерам на устройствах пользователей, а не на нашем сервере. Мы отдельно смотрели старые телефоны: там время доходило до двух с половиной секунд, и это тоже вошло в выборку.

Как сравнивалиГруппа с функцией против группы без неё, один период
Что считалиСобытие добавления в корзину, не оплату
Источник данныхАналитика приложения заказчика
Что значит «секунда»Медиана на устройствах пользователей, включая старые модели
Размер каталогаСорок тысяч позиций, все с фотографиями
08 / переделали

Что пришлось переделать

Поиск по фото красиво выглядит на демонстрации и по-настоящему настраивается на снимках покупателей. Три вещи с пилота, которые вошли в шаблон.

Фотографии из отзывов в индексе

В каталоге товар снят на белом фоне при студийном свете, а покупатель фотографирует лампу в тёмной комнате. Точность подняли не улучшением модели, а добавлением в поиск фотографий из отзывов покупателей. Теперь это первый шаг для любого визуального поиска.

Обработка по силам устройства

На телефонах старше четырёх лет локальная обработка была тяжёлой. Разделили: на новых считаем на устройстве, на старых отправляем сжатый кадр на сервер. Правило: список поддерживаемых устройств уточняем до архитектуры, а не после.

Тексты для сторов пишутся заранее

Магазинам приложений нужно понятное объяснение, зачем доступ к камере, и общей формулировки мало. Переписали текст запроса и описание функции, прошли с первого раза. Теперь тексты для ревью готовим вместе с функцией, а не в последний день.

09 / сроки

Из чего сложились восемь недель

Мобильная функция это не только модель: есть ещё сторы, ревью и старые телефоны.

  1. Недели 1-2Выбор метрики успеха вместе с заказчиком, разбор каталога, сбор фотографий из отзывов.
  2. Недели 3-5Модель поиска по изображению, индекс каталога, проверка точности на живых снимках.
  3. Недели 6-7Встраивание в приложение, разделение на локальную и серверную обработку, тесты на старых устройствах.
  4. Неделя 8Сборка, тексты для сторов, ревью. Прошли с первого раза, но закладывали две недели.

На ревью в сторах мы всегда закладываем запас. Здесь повезло, но планировать проект впритык к дате релиза нельзя.

10 / кто делал

Команда кейса

Егор Лаптев, технический директор
Егор Лаптев Технический директор в кейсе: архитектура функции
Илья Бурмистров, разработчик интеграций
Илья Бурмистров Разработчик интеграций в кейсе: интеграция с каталогом
Павел Ерохин, дизайнер
Павел Ерохин Дизайнер в кейсе: экраны и сценарий в приложении

Похожая задача?

Назовите каталог и функцию, которой не хватает: посчитаем эффект и срок до сборки.

Папка с документами, из которой поднимается столбчатая диаграмма: выгрузка превращается в расчёт

Полезнее всего выгрузка обращений или заявок за месяц. Подойдут также регламент, прайс, пример договора или акта.
PDF, DOC, DOCX, XLS, XLSX, CSV, TXT, ZIP, RAR, 7Z, PNG, JPG, JPEG. До 20 МБ на файл, не больше 5 файлов, суммарно до 50 МБ.

Файлы уходят вместе с заявкой и дальше отдела продаж не идут. NDA подпишем до передачи данных, если нужно.