+7 499 350-21-34 Telegram MAX WhatsApp info@agenty-ai.ru
Агенты ИИ 3D-карта обсудить проект
кейс 13 · направление 01 · ИИ-ассистенты

Ассистент по правилам страхования: отвечает пунктом или честно молчит

Страховая компания, четыре линейки продуктов и 4 300 страниц правил с приложениями. Оператор на линии искал условие по десять минут, звонил методологу или отвечал по памяти. Ответ по памяти иногда оказывался неверным, и это стоило дороже всего остального.

Клиент под NDA: имя не разглашаем, потому что связаны договором о неразглашении, для наших контрактов это обычное условие. Отрасль, задача, ход работ и цифры настоящие.

5 недель от старта до пилота
68 % вопросов закрывает сам
6 секунд медианное время ответа
Иллюстрация кейса 13: ассистент отвечает по правилам и показывает пункт
01 / задача

Ответ существовал, но добраться до него не успевали

Правила страхования это не справочник, а конструктор из редакций и приложений. По одному и тому же вопросу условие может отличаться в зависимости от продукта, даты договора и региона. Оператор видел перед собой клиента на линии и три вкладки с документами.

Компания уже пробовала обычный поиск по словам. Он находил слово «франшиза» в сорока местах и ни разу не показывал, какое из них относится к нужному продукту. Через месяц операторы перестали им пользоваться и вернулись к чату с методологами.

Мы начали не с модели, а с того, что разобрали, какие вопросы вообще приходят. Из выгрузки за квартал получилось девять типов, и восемь из них имели однозначный ответ прямо в правилах. Оставался один: как этот ответ найти и как убедиться, что он верный.

  • 4 300 страниц правил, приложений и редакций
  • До двенадцати минут на поиск условия в сложном случае
  • Разные редакции для договоров разных лет
  • Ошибка оператора дороже, чем сам вопрос
02 / решение

Как устроен ассистент

шаг 1

Разбор по структуре

Документы режутся не по числу символов, а по разделам и пунктам. Каждый кусок помнит свой номер, редакцию и продукт, поэтому ответ всегда можно привязать к конкретному месту.

шаг 2

Поиск двумя способами

Смысловой поиск ищет похожие формулировки, а точный ловит номера пунктов, термины и суммы. Результаты объединяются: так не теряются ни «франшиза по каско», ни «пункт 4.7.2».

шаг 3

Ответ только с источником

Если подходящий фрагмент не нашёлся, ассистент отвечает «в правилах не нашёл» и предлагает передать методологу. Ответ без ссылки на пункт наружу не выпускается.

шаг 4

Проверка перед выдачей

Второй проход сверяет каждое утверждение ответа с найденным фрагментом. Расхождение помечается флагом, и вопрос уходит человеку вместе с черновиком.

как это работает

Путь вопроса за шесть секунд

Схема ниже показывает, что происходит между вопросом оператора и ответом со ссылкой. Анимация нарисована кодом и весит меньше одной фотографии.

  1. Вопросоператор спрашивает своими словами, без номеров пунктов
  2. Поисксмысловой и точный идут одновременно по 4 300 страницам
  3. Пунктнаходится фрагмент нужной редакции и продукта
  4. Проверкакаждое утверждение сверяется с найденным текстом
  5. Ответвыдаётся вместе со ссылкой на пункт правил
03 / контур

Что видит оператор

Ответ и рядом фрагмент правил с подсвеченным пунктом. Интерфейс заказчика под NDA.
Ответ и рядом фрагмент правил с подсвеченным пунктом. Интерфейс заказчика под NDA.
Спорный вопрос уходит методологу вместе с черновиком ответа и найденными пунктами.
Спорный вопрос уходит методологу вместе с черновиком ответа и найденными пунктами.
Максим Гончаров, ml-инженер, поиск и базы знаний

«Труднее всего было научить его говорить «не нашёл». Модель всегда готова что-нибудь сочинить, а в страховании выдуманное условие хуже молчания. Мы сделали так, что без куска правил на руках он просто не имеет права ответить.»

Максим Гончаров, ml-инженер, поиск и базы знаний
04 / результат

Цифры после запуска

68 %вопросов закрывается без методолога
6 секундмедианный ответ вместо десяти минут
0ответов без ссылки на пункт
5 месяцевокупаемость внедрения

Методологи перестали быть узким местом: к ним теперь приходит десятая часть прежнего потока, зато по-настоящему спорные вопросы. Обучение нового оператора сократилось с трёх недель до одной, потому что справочник у него теперь спрашивают голосом. Отдельно заказчик отметил то, чего мы не обещали: по логам стало видно, какие пункты правил люди понимают неправильно чаще всего, и методологи переписали три из них.

Услуга по теме: направление 01 «ИИ-агенты» · все кейсы студии

05 / под капотом

Что внутри решения

Ассистент собирает ответ только из найденных пунктов и обязан показать, откуда взял каждое утверждение.

Где живётКонтур страховой компании, документы не покидают периметр
Разбор правил4 300 страниц до уровня пункта, с привязкой к продукту и редакции
ПоискСмысловой и точный одновременно, с фильтром по дате договора
Правило молчанияНет пункта в правилах, нет ответа: система прямо об этом говорит
Контроль качестваПятьдесят случайных ответов еженедельно проверяет методолог
06 / кому подходит

Там, где ответ обязан ссылаться на документ

Ассистент со ссылкой на источник нужен там, где ошибка дороже молчания: страхование, банки, медицина, закупки, охрана труда. Обычный бот здесь опасен именно тем, что звучит уверенно.

Условие для запуска строгое: документы должны быть разобраны до уровня пункта и привязаны к периодам действия. Без этого ассистент будет цитировать отменённую редакцию, и первый же такой случай уничтожит доверие сотрудников.

  • Ошибка в ответе дороже, чем отсутствие ответа
  • Документы можно разобрать до уровня пункта
  • Известно, какая редакция действует и с какой даты
  • Есть эксперт, который выборочно проверяет ответы
07 / методика

Как считали эти цифры

В проекте про правила страхования цена ошибки выше обычного, поэтому мерили строже: не «ответил ли ассистент», а «оказался ли ответ верным».

Базу сняли по выгрузке обращений операторов к методологам за квартал до пилота: сколько вопросов, сколько времени до ответа, какие темы. После запуска сняли такой же квартал.

Вопрос считается закрытым, только если методолог подтвердил ответ при выборочной проверке. Каждую неделю мы брали пятьдесят случайных ответов ассистента и отдавали их на проверку человеку, который правила знает. Доля 68 процентов это доля подтверждённых, а не доля выданных.

Шесть секунд это медиана от вопроса оператора до появления ответа со ссылкой на пункт, замерено на рабочих местах в контуре компании, а не на нашем стенде.

Период сравненияКвартал до пилота против квартала после
Источник данныхОбращения операторов к методологам и журнал ассистента
Что значит «закрыл сам»Ответ подтверждён методологом при выборочной проверке
Размер проверкиПятьдесят случайных ответов еженедельно
Что значит «6 секунд»Медиана на рабочих местах в контуре компании
08 / переделали

Что пришлось переделать

Правила страхования наказывают за приблизительность строже любой другой базы документов. Три решения с пилота, ставшие правилами для ассистентов по регламентам.

Редакция привязана к дате договора

Условие из правил одного года могло попасть в ответ по договору другого: пункт существовал, но не тот. Привязали каждый документ к периоду действия и требуем дату договора до поиска. Теперь это обязательное поле любого запроса.

Ссылка ведёт в пункт, а не в документ

Первая версия называла документ, но не место в нём, и оператор всё равно листал десятки страниц. Разобрали правила до уровня пункта и подпункта. Правило: ссылка считается ссылкой, только если ведёт в конкретный пункт.

Молчание с объяснением

Когда ассистент не находил ответ, он говорил об этом коротко, и операторы принимали это за сбой. Добавили объяснение: не найдено в правилах такого продукта такой редакции, вот кому написать. Теперь каждое «не нашёл» у нас содержит адрес, куда идти.

09 / сроки

Из чего сложились пять недель

Разбор документов занял больше времени, чем сам ассистент.

  1. Неделя 1Разбор обращений за квартал, девять типов вопросов, выбор критерия качества вместе с методологами.
  2. Недели 2-3Разбор 4 300 страниц до уровня пункта, привязка редакций к периодам действия.
  3. Неделя 4Поиск с обязательной ссылкой, правило честного молчания, контур внутри компании.
  4. Неделя 5Пилот на линии, еженедельная проверка ответов методологом, правка формулировок.

Еженедельная проверка методологом осталась и после пилота. Это не разовая приёмка, а постоянный контроль качества, и он входит в обслуживание.

10 / кто делал

Команда кейса

Максим Гончаров, ml-инженер, поиск и базы знаний
Максим Гончаров ML-инженер, поиск и базы знаний в кейсе: поиск, индекс и разбор документов
Ольга Терентьева, инженер по данным
Ольга Терентьева Инженер по данным в кейсе: структура данных и редакции правил
Наталья Ким, инженер качества ответов
Наталья Ким Инженер качества ответов в кейсе: проверка ответов и правила отказа

Похожая задача?

Пришлите один документ и десять типовых вопросов по нему. Покажем на ваших правилах, что ассистент находит, а где честно говорит «не нашёл». Диагностика засчитывается в стоимость пилота.

Папка с документами, из которой поднимается столбчатая диаграмма: выгрузка превращается в расчёт

Полезнее всего выгрузка обращений или заявок за месяц. Подойдут также регламент, прайс, пример договора или акта.
PDF, DOC, DOCX, XLS, XLSX, CSV, TXT, ZIP, RAR, 7Z, PNG, JPG, JPEG. До 20 МБ на файл, не больше 5 файлов, суммарно до 50 МБ.

Файлы уходят вместе с заявкой и дальше отдела продаж не идут. NDA подпишем до передачи данных, если нужно.