+7 499 350-21-34 Telegram MAX WhatsApp info@agenty-ai.ru
Агенты ИИ 3D-карта обсудить проект
кейс 12 · направление 05 · ИИ-сервисы

Своя модель в контуре юрфирмы: 0 запросов наружу

Юридическая фирма: судебная практика и сопровождение сделок. Облачные модели запрещены политикой конфиденциальности полностью, а поиск по архиву дел был нужен каждый день. Ниже история решения, у которого по условию не было права ходить в интернет.

Клиент под NDA: имя не разглашаем, потому что связаны договором о неразглашении, для наших контрактов это обычное условие. Отрасль, задача, ход работ и цифры настоящие.

0 запросов во внешние сервисы
секунды поиск по архиву дел
11 месяцев окупаемость против облака
Иллюстрация кейса 12: своя модель в закрытом контуре юрфирмы
01 / задача

Что было до внедрения

Архив рос годами: тысячи дел, в которых уже были найдены нужные формулировки и выигрышные конструкции. Найти их повторно мог только тот, кто помнил дело лично, и это знание уходило из фирмы вместе с людьми.

Внешние модели закрыты политикой: материалы клиентов не должны покидать периметр даже обезличенными. Обычный путь «подключим облачный сервис» не обсуждался вовсе, и это сузило выбор до одного честного варианта. Как устроена своя модель в закрытом контуре и во что она обходится, показано в разборе своя нейросеть.

  • архив дел рос быстрее, чем поиск по нему
  • внешние модели запрещены политикой фирмы
  • черновики документов писались с нуля
02 / решение

Как внедряли

шаг 1

Расчёт против облака

Посчитали экономику честно: на объёме фирмы своя модель окупается за год. При меньшем потоке мы бы сами отговорили от этой затеи.

шаг 2

Выбор и дообучение

Взяли открытую модель и дообучили на документах фирмы, не вынося наружу ни файла: обучение шло внутри периметра.

шаг 3

Развёртывание на железе

Развернули на сервере фирмы. Наружу не уходит ни одного запроса, и это не обещание, а свойство архитектуры: у контура нет выхода в интернет.

шаг 4

Надзор и обновления

Новые версии модели проходят тестовый контур: сверяются на выборке дел и только потом встают в работу.

03 / как это выглядит

Контур решения

Схема: модель на железе фирмы, поиск по делам, черновики. Материалы клиентов не покидают периметр.
Схема: модель на железе фирмы, поиск по делам, черновики. Материалы клиентов не покидают периметр.
Анна Дорохова, devops / mlops

«Самая необычная приёмка в моей практике. Служба безопасности фирмы проверяла не «работает ли», а «точно ли никуда не ходит»: выключили внешнюю сеть и смотрели. Работает.»

Анна Дорохова, devops / mlops
04 / результат

Цифры после запуска

0запросов во внешние сервисы
секундыпоиск по архиву дел
11 месяцевокупаемость против облака
100 %материалов остаётся в периметре

Поиск по архиву занимает секунды, черновики типовых документов собираются из своей же практики. За одиннадцать месяцев решение сравнялось по цене с облаком, дальше идёт дешевле, и ни один запрос не покинул стены фирмы.

Услуга по теме: направление 05 «ИИ-сервисы» · все кейсы студии

05 / под капотом

Что внутри решения

Сервер стоит в офисе фирмы и физически не имеет выхода в интернет. Всё, что нужно модели, лежит рядом с ней.

Где живётСервер в периметре фирмы, доступа в интернет нет на уровне сети
МодельОткрытая модель на своём оборудовании, обновляется вручную раз в квартал
Архив делПриведён к единому виду, сканы распознаны, поиск по смыслу и по точному совпадению
Права доступаПо ролям: помощник видит не то же, что партнёр
Что проверяет заказчикНастройки сети: инструкция, как убедиться, что запросов наружу нет
06 / кому подходит

Данные, которым запрещено покидать периметр

Свой контур нужен там, где облако запрещено политикой или законом: юристы, медицина, оборонка, банки. Это не вопрос экономии, а вопрос допустимости.

Считать окупаемость надо честно: своё оборудование дороже на старте и выходит в ноль примерно за год при постоянной нагрузке. Если запросов мало, облако дешевле навсегда. И качество ответов будет ниже облачного, эту разницу закрывают подготовкой данных, а не мощностью сервера.

  • Политика или закон запрещают внешние сервисы
  • Постоянная нагрузка, а не десяток запросов в неделю
  • Есть место под сервер и человек, который будет его обслуживать
  • Готовность к тому, что качество ниже облачного
07 / методика

Как считали эти цифры

Окупаемость за одиннадцать месяцев считалась против облачного варианта, которого у этой фирмы всё равно не могло быть.

Своя модель в контуре дороже облака на старте: сервер, установка, обслуживание. Мы посчитали обе сметы на три года: разовые затраты на оборудование против ежемесячной оплаты обращений при том же объёме запросов. Точка равенства пришлась на одиннадцатый месяц.

Ноль запросов во внешние сервисы это не обещание, а свойство схемы: у сервера нет доступа в интернет на уровне сети. Проверяется не нашим словом, а настройками сети заказчика, и мы отдельно передали инструкцию, как это проверить самостоятельно.

Секунды на поиск по архиву это медиана по запросам юристов за месяц работы. В выборку вошли и тяжёлые запросы по всему архиву, и короткие по одному делу.

С чем сравнивалиСмета на три года: своё оборудование против оплаты облака
Точка окупаемостиОдиннадцатый месяц при текущем объёме запросов
Как проверить «ноль запросов»Настройками сети заказчика, инструкция передана
Что значит «секунды»Медиана по запросам юристов за месяц работы
Что осталось у заказчикаСервер, модель и все материалы внутри периметра
08 / переделали

Что пришлось переделать

Закрытый контур закрывает и привычные лёгкие пути. Три решения с пилота, которые теперь входят в каждый проект без интернета.

Качество берётся подготовкой данных

При полном запрете на внешние сервисы модель отвечает скромнее облачной, и юристы это заметили сразу. Разницу закрыли не наращиванием модели, а порядком в архиве и точным поиском по нему. Об этой разнице мы говорим до подписания, а не после.

Архив приводится в порядок до поиска

Дела хранились по-разному, часть сканами, часть в закрытых форматах, и первый поиск находил не то. Остановились и привели архив к единому виду вместе с заказчиком. Теперь оценка состояния архива стоит в диагностике первым пунктом.

Регламент обновлений на носителе

Без интернета сервер не обновляется сам, а оставлять его без обновлений нельзя. Договорились о квартальном визите инженера с проверенным пакетом. Это стандартный пункт обслуживания для закрытого контура.

09 / сроки

Из чего сложились десять недель

Проекты в закрытом контуре всегда длиннее облачных примерно вдвое.

  1. Недели 1-2Подбор оборудования под требования и бюджет, согласование с безопасностью фирмы.
  2. Недели 3-5Приведение архива дел в порядок: форматы, распознавание сканов, структура.
  3. Недели 6-8Установка модели в контуре, поиск по архиву, права доступа по ролям.
  4. Недели 9-10Обучение юристов, регламент обновлений, передача инструкций.

Три недели на архив это не наша работа, а совместная с заказчиком. Без неё поиск находил бы не то, и проект остановился бы на второй неделе использования.

10 / кто делал

Команда кейса

Тимур Хайруллин, ml-инженер, языковые модели
Тимур Хайруллин ML-инженер, языковые модели в кейсе: выбор и дообучение модели
Анна Дорохова, devops / mlops
Анна Дорохова DevOps / MLOps в кейсе: железо и развёртывание
Денис Абрамов, руководитель сопровождения
Денис Абрамов Руководитель сопровождения в кейсе: надзор и сопровождение

Похожая задача?

Назовите объём документов и ограничения безопасности, посчитаем, окупится ли своя модель.

Папка с документами, из которой поднимается столбчатая диаграмма: выгрузка превращается в расчёт

Полезнее всего выгрузка обращений или заявок за месяц. Подойдут также регламент, прайс, пример договора или акта.
PDF, DOC, DOCX, XLS, XLSX, CSV, TXT, ZIP, RAR, 7Z, PNG, JPG, JPEG. До 20 МБ на файл, не больше 5 файлов, суммарно до 50 МБ.

Файлы уходят вместе с заявкой и дальше отдела продаж не идут. NDA подпишем до передачи данных, если нужно.