Страховая компания, четыре линейки продуктов и 4 300 страниц правил с приложениями. Оператор на линии искал условие по десять минут, звонил методологу или отвечал по памяти. Ответ по памяти иногда оказывался неверным, и это стоило дороже всего остального.
Клиент под NDA: имя не разглашаем, потому что связаны договором о неразглашении, для наших контрактов это обычное условие. Отрасль, задача, ход работ и цифры настоящие.
Правила страхования это не справочник, а конструктор из редакций и приложений. По одному и тому же вопросу условие может отличаться в зависимости от продукта, даты договора и региона. Оператор видел перед собой клиента на линии и три вкладки с документами.
Компания уже пробовала обычный поиск по словам. Он находил слово «франшиза» в сорока местах и ни разу не показывал, какое из них относится к нужному продукту. Через месяц операторы перестали им пользоваться и вернулись к чату с методологами.
Мы начали не с модели, а с того, что разобрали, какие вопросы вообще приходят. Из выгрузки за квартал получилось девять типов, и восемь из них имели однозначный ответ прямо в правилах. Оставался один: как этот ответ найти и как убедиться, что он верный.
Документы режутся не по числу символов, а по разделам и пунктам. Каждый кусок помнит свой номер, редакцию и продукт, поэтому ответ всегда можно привязать к конкретному месту.
Смысловой поиск ищет похожие формулировки, а точный ловит номера пунктов, термины и суммы. Результаты объединяются: так не теряются ни «франшиза по каско», ни «пункт 4.7.2».
Если подходящий фрагмент не нашёлся, ассистент отвечает «в правилах не нашёл» и предлагает передать методологу. Ответ без ссылки на пункт наружу не выпускается.
Второй проход сверяет каждое утверждение ответа с найденным фрагментом. Расхождение помечается флагом, и вопрос уходит человеку вместе с черновиком.
Схема ниже показывает, что происходит между вопросом оператора и ответом со ссылкой. Анимация нарисована кодом и весит меньше одной фотографии.
«Труднее всего было научить его говорить «не нашёл». Модель всегда готова что-нибудь сочинить, а в страховании выдуманное условие хуже молчания. Мы сделали так, что без куска правил на руках он просто не имеет права ответить.»
Методологи перестали быть узким местом: к ним теперь приходит десятая часть прежнего потока, зато по-настоящему спорные вопросы. Обучение нового оператора сократилось с трёх недель до одной, потому что справочник у него теперь спрашивают голосом. Отдельно заказчик отметил то, чего мы не обещали: по логам стало видно, какие пункты правил люди понимают неправильно чаще всего, и методологи переписали три из них.
Услуга по теме: направление 01 «ИИ-агенты» · все кейсы студии
Ассистент собирает ответ только из найденных пунктов и обязан показать, откуда взял каждое утверждение.
Ассистент со ссылкой на источник нужен там, где ошибка дороже молчания: страхование, банки, медицина, закупки, охрана труда. Обычный бот здесь опасен именно тем, что звучит уверенно.
Условие для запуска строгое: документы должны быть разобраны до уровня пункта и привязаны к периодам действия. Без этого ассистент будет цитировать отменённую редакцию, и первый же такой случай уничтожит доверие сотрудников.
В проекте про правила страхования цена ошибки выше обычного, поэтому мерили строже: не «ответил ли ассистент», а «оказался ли ответ верным».
Базу сняли по выгрузке обращений операторов к методологам за квартал до пилота: сколько вопросов, сколько времени до ответа, какие темы. После запуска сняли такой же квартал.
Вопрос считается закрытым, только если методолог подтвердил ответ при выборочной проверке. Каждую неделю мы брали пятьдесят случайных ответов ассистента и отдавали их на проверку человеку, который правила знает. Доля 68 процентов это доля подтверждённых, а не доля выданных.
Шесть секунд это медиана от вопроса оператора до появления ответа со ссылкой на пункт, замерено на рабочих местах в контуре компании, а не на нашем стенде.
Правила страхования наказывают за приблизительность строже любой другой базы документов. Три решения с пилота, ставшие правилами для ассистентов по регламентам.
Условие из правил одного года могло попасть в ответ по договору другого: пункт существовал, но не тот. Привязали каждый документ к периоду действия и требуем дату договора до поиска. Теперь это обязательное поле любого запроса.
Первая версия называла документ, но не место в нём, и оператор всё равно листал десятки страниц. Разобрали правила до уровня пункта и подпункта. Правило: ссылка считается ссылкой, только если ведёт в конкретный пункт.
Когда ассистент не находил ответ, он говорил об этом коротко, и операторы принимали это за сбой. Добавили объяснение: не найдено в правилах такого продукта такой редакции, вот кому написать. Теперь каждое «не нашёл» у нас содержит адрес, куда идти.
Разбор документов занял больше времени, чем сам ассистент.
Еженедельная проверка методологом осталась и после пилота. Это не разовая приёмка, а постоянный контроль качества, и он входит в обслуживание.
Пришлите один документ и десять типовых вопросов по нему. Покажем на ваших правилах, что ассистент находит, а где честно говорит «не нашёл». Диагностика засчитывается в стоимость пилота.