Почему деградация тихая
Модели обновляются у провайдера, и это не баг, а норма жизни: версии выходят, старые отключаются. После обновления бот продолжает отвечать бегло и уверенно, просто иначе. Формально всё работает, мониторинг сервера зелёный.
На одном из наших проектов до нас качество измерялось количеством жалоб за неделю. Это честный прибор, но у него огромная задержка: между «ответы поплыли» и «покупатели начали жаловаться» проходят дни, и всё это время бот прилежно портит впечатление о компании.
Три числа, за которыми надо смотреть
- Доля решённых без человека. Рабочий диапазон на наших проектах 40-70 %. Само число не так важно, как его стабильность: просело на несколько пунктов за неделю без изменений в потоке, значит что-то поменялось в ответах.
- Доля переключений на оператора по просьбе клиента. Фразы «позовите человека» и повтор вопроса другими словами это голос недовольства, который слышно раньше жалоб.
- Стоимость обращения. Деградация часто приходит вместе с удлинением диалогов: бот переспрашивает, отвечает не о том, диалог из трёх реплик превращается в десять, и счёт от провайдера растёт при том же потоке.
Все три числа считаются из логов диалогов. Если логов нет, начинать надо не с панели, а с логирования: без него у системы нет памяти, а у вас нет фактов.
Разметка выборки: полчаса в неделю
Числа ловят сдвиг, но не отвечают на вопрос «что именно сломалось». Для этого раз в неделю размечается выборка: полсотни случайных диалогов читает человек и ставит каждому одну из трёх отметок: ответ верный, ответ бесполезный, бот не должен был отвечать вовсе.
Это не бюрократия, а полчаса работы, которые превращают спор «стал хуже или кажется» в цифру. Размечать должен тот, кто знает предмет: оператор поддержки, методист, старший менеджер. На старте мы делаем это вместе с командой заказчика, потом команда справляется сама.
Обновления через тестовый контур
Главное правило, которое закрывает половину тихих поломок: новая версия модели не встаёт в прод напрямую. Сначала она прогоняется на сохранённой выборке диалогов, результат сравнивается с текущей версией по тем же отметкам, и только после этого включается живым клиентам.
Так обновление из лотереи превращается в управляемое событие: если новая версия отвечает хуже, это видно на тесте, а не на покупателях. На проекте из нашего кейса после ввода этого правила в прод не ушло ни одного непроверенного обновления, а среднее обращение подешевело на треть. Как это выглядит, когда панель ведёт подрядчик, показано в кейсе про чужое внедрение на обслуживании. Что ещё модель забирает в ежедневной работе команды, показано в разборе ИИ для работы.
Признаки, что деградация уже идёт
- Передачи оператору растут при том же потоке обращений.
- Диалоги удлинились: бот переспрашивает и уточняет там, где раньше отвечал сразу.
- Клиенты повторяют вопрос другими словами внутри одного диалога.
- В переписке появились слова «не понял», «я не об этом», «позовите человека».
- Счёт от провайдера модели вырос без роста обращений.
Минимальная панель за вечер
Не нужен подрядчик, чтобы начать. Выгрузите диалоги за неделю, посчитайте три числа из второго раздела и запишите их в таблицу с датой. Через неделю повторите. Две точки уже показывают направление, четыре показывают тренд.
Этого хватит, чтобы заметить деградацию раньше клиентов. Дальше панель обычно передают на надзор после запуска: следить за ней должен кто-то, у кого это работа, а не добрая воля. Дальше панель можно углублять: разбивка по темам обращений, автоматический подсчёт, алерты при просадке. Но начинается всё с таблицы на три столбца, и она работает.
Коротко
- Бот ломается тихо: жалобы приходят на дни позже, чем портятся ответы.
- Три числа из логов: доля решённых без человека, переключения по просьбе клиента, стоимость обращения.
- Раз в неделю разметка полусотни диалогов руками: верно, бесполезно, не должен был отвечать.
- Обновления модели только через тестовый контур, сверка на выборке до прода.
- Минимальная панель это таблица с тремя числами по неделям, собирается за вечер.
Дальше по теме: если внедряли не мы, берём чужое решение на обслуживание с панелью качества и надзором. направление «ИИ-сервисы»→
