Базовая метрика: что замерить до старта
Эффект это разница двух замеров одного процесса. Замер «до» снимают до старта: потом процесс изменится, и сравнивать будет не с чем.
Базовая метрика это одно-два числа, которые должен сдвинуть ИИ: минуты на документ, обращения к специалистам в месяц, время до первого ответа клиенту, доля брака. Точность модели сюда не входит: эффект считают в часах и деньгах.
В кейсе со счетами в 1С базой был полный цикл счёта от письма до проведённого документа, медиана по двумстам счетам за месяц. В кейсе с заявками в CRM конверсию в договор считали за три месяца до запуска и три после: в продажах компаниям сделка идёт неделями, и месяц ничего не покажет.
- Период одинаковый до и после: месяц для потока документов и обращений, квартал для длинных сделок.
- Источник один: выгрузка из вашей системы, а не память сотрудников.
- Медиана, а не среднее: среднее перекашивает один застрявший документ.
В наших кейсах первая неделя настройки после запуска в расчёт не идёт.
Четыре вида эффекта и как перевести их в деньги
Экономический эффект ИИ бывает четырёх видов. В рубли каждый переводится по-своему, поэтому складывать их без пересчёта нельзя.
- Часы. Работу делает система, человек проверяет. В кейсе со счетами документ доходит до черновика в 1С за 2–3 минуты вместо десяти ручных.
- Ошибки. На ферме 3D-печати брак за смену сократился на 82 %, его считали по массе пластика из журнала склада.
- Скорость. В кейсе с заявками первый ответ уходит за 5 минут вместо суток, и конверсия в сделку выросла на 22 %.
- Пропускная способность без найма. Месячная выработка той же фермы выросла на 73 %, а людей в штате не прибавилось. Прирост включает ночную смену, без неё было бы около 20 %.
Самым большим бывает не тот эффект, ради которого затевали проект. На ферме шли за раскладкой заданий, а экономия пластика и времени принтеров от остановки печати при браке перекрыла всё остальное в первый же месяц.
ROI и срок окупаемости: два разных вопроса
Окупаемость ИИ-проекта и его ROI часто путают. Срок окупаемости говорит, когда вернутся деньги. ROI говорит, сколько проект принесёт сверх вложенного за выбранный срок.
Для чат-бота срок окупаемости на четырёх числах потока посчитан в статье про окупаемость чат-бота. Это частный случай: для других процессов меняются базовая метрика и вид эффекта, а логика та же.
- Срок окупаемости в месяцах: разовые вложения, делённые на эффект месяца за вычетом ежемесячных расходов.
- ROI за период: эффект за период минус все расходы, разовые и ежемесячные, делённое на эти расходы.
Срок окупаемости считают от запуска, потому что до него эффекта нет. Для бюджета нужно и второе число: от договора до возврата денег, то есть срок проекта плюс срок окупаемости.
ROI без горизонта ничего не значит. У одного и того же проекта он разный за год и за три, поэтому «вернёт втрое» без слов «за сколько лет» обсуждать нельзя.
Первый год и три года: где ROI проседает
На первый год ложится всё разовое, а эффекта в нём меньше двенадцати месяцев. Пока идёт проект, его нет совсем, а первые недели после запуска система работает под присмотром.
Во второй и третий год остаются ежемесячные расходы: обращения к модели (от 5 000 ₽ в месяц, платятся провайдеру) и сопровождение, если оно нужно. Разовая часть разобрана в статье о бюджете ИИ-проекта, ежемесячные строки на три года в статье о скрытых расходах после запуска.
Для решения «делать или нет» хватает фильтра из нашего разбора о нейросетях для бизнеса: если годовая экономия меньше стоимости внедрения, проект не делают. ROI за три года нужен, чтобы сравнить между собой проекты, которые этот фильтр прошли.
Пример на цифрах: ассистент по регламентам в холдинге
Возьмём наш кейс с регламентами: производственный холдинг на 1200 сотрудников, ассистент отвечает по действующим регламентам со ссылкой на пункт. Числа ниже со страницы кейса или посчитаны из них. Ставок и сметы мы не добавляем. Базовая метрика: обращения к кадровикам и юристам за месяц до запуска, по внутренним заявкам и почте. После запуска сняли такой же месяц и контрольный третий, и обращений стало на 52 % меньше. Не ушли ли вопросы в обход системы, проверили опросом руководителей подразделений. Роста не нашли, но это опрос, а не замер.
Эффект в деньгах считали по высвобожденным часам кадровиков и юристов: внедрение окупилось за 7 месяцев. Проект занял три месяца, и первый из них ушёл на инвентаризацию документов силами заказчика. Считаем с двумя допущениями: 7 месяцев идут от запуска (точку отсчёта страница кейса не называет), и эффект месяца дальше не меняется. За три месяца проекта эффекта нет.
Срок окупаемости один, а ROI зависит от горизонта: за первый год около 29 копеек сверху на каждый вложенный рубль, за три года около 3,7 на рубль. Будь документы в порядке заранее, проект занял бы шесть недель вместо трёх месяцев, и даже при той же стоимости первый год дал бы около 1,5 стоимости внедрения вместо 1,3.
Ежемесячных расходов после запуска на странице кейса отдельной строкой нет, поэтому нет их и в примере. В своём расчёте ставьте их отдельно: они уменьшают эффект каждого месяца, и оба ROI становятся скромнее.
Шесть ошибок, из-за которых расчёт врёт
Ошибки расчёта для чат-бота, вроде ставки по окладу и доли типовых вопросов на глаз, разобраны в статье про его окупаемость. Ниже другие, они встречаются в любом процессе.
- Часы приравняли к деньгам. Время становится рублями, только если люди заняты тем, за что иначе платили бы. Штат после наших внедрений обычно прежний, так что пишите, куда пойдут часы.
- Полный эффект с первого дня. Первые недели человек проверяет больше, чем потом: в кейсе со счетами выборочной проверка стала только через три недели.
- База по неполным данным. В кейсе с заявками часть заявок в CRM не попадала вовсе, и старая конверсия выглядела выше настоящей. Её пересчитали по журналу почты, иначе сравнение было бы нечестным.
- Время ваших людей вне сметы. В кейсе с регламентами первый месяц проекта был работой заказчика. В смету подрядчика такие часы не попадают, а во вложения проекта должны.
- Валовая экономия вместо чистой. Из эффекта вычитают проверку, спорные случаи, сопровождение и обращения к модели. В кейсе со счетами ускорение в четыре раза посчитано вместе с проверкой человеком и правкой ошибок.
- Чужой рост в зачёт проекту. Сезон или новый рекламный бюджет двигают цифры не хуже ИИ. В кейсе с заявками состав отдела продаж и рекламный бюджет за полгода не менялись, и всё же мы прямо говорим заказчику, что часть роста может быть внешней.
Когда расчёт не сойдётся и с чего начать
Чаще всего экономика не сходится на маленьком объёме: настройка не успевает окупиться. Для ассистента по регламентам порог в нашем кейсе такой: от 300 сотрудников и от 100 страниц внутренних правил. Пороги для агента поддержки, документов в 1С и заявок в CRM собраны в статье о бюджете ИИ-проекта.
Прикидку по присланной выгрузке мы делаем бесплатно за 1–2 дня. Точный расчёт с замером «до» даёт диагностика: 60 000 – 90 000 ₽, 3–5 дней, сумма засчитывается в следующий этап. Обследование и пилот направления «ИИ для бизнеса» (300 000 – 500 000 ₽, от 4 до 6 недель) превращают расчёт в проверенную цифру, а если экономика не сошлась, мы не продолжаем. Шаги описаны на странице внедрения ИИ в процессы, расчёт со сценариями для банка делается отдельно: экономика для бизнес-плана.
Коротко
- До старта снимите базовую метрику: одно-два числа процесса за полный период, из вашей системы.
- Эффект бывает четырёх видов: часы, ошибки, скорость, пропускная способность. Часы становятся деньгами, только если время ушло на нужную работу.
- Срок окупаемости отвечает, когда вернутся деньги, а ROI отвечает, сколько сверху принесёт проект за выбранный срок.
- На первый год ложатся все разовые вложения и месяцы без эффекта, поэтому ROI первого года ниже, чем за три года.
- Из эффекта вычитают проверку, сопровождение и обращения к модели, а чужой рост в зачёт проекту не идёт.
Дальше по теме: три ступени входа в проект, у каждой своя цена и свой результат на руках, начиная с расчёта. с чего начать внедрение ИИ→
