Внедрение ИИ в закрытом контуре

Когда облачные сервисы не подходят

Облачные модели удобны, пока в запросах нет ничего, что нельзя показать постороннему. В работе компании такое есть почти всегда.

• Коммерческая тайна: цены, условия договоров, клиентская база, технологии производства.
• Персональные данные клиентов и сотрудников: их обработку регулирует 152-ФЗ, а отправка в иностранный сервис — это трансграничная передача со своими требованиями.
• Требования службы безопасности или заказчиков: документы обрабатываются только внутри периметра компании.
• Зависимость от чужого сервиса: доступ из России могут ограничить, а тарифы и условия — изменить в любой момент.

Что разворачиваем на сервере

Под каждую задачу подбираем модель с открытыми весами и программу, которая её запускает. Всё ставится на ваш сервер и работает без обращения к внешним сервисам.

vLLM — когда с моделью работают многие

Сервер языковых моделей для рабочей нагрузки: обслуживает запросы многих сотрудников и систем одновременно, бережно расходует память видеокарты и отвечает через стандартный API, совместимый с OpenAI. Поэтому к нему без переделок подключаются чаты, боты, CRM и собственные программы компании.

Ollama — для пилота и небольших задач

Запускает модель за минуты и работает на скромном железе, в том числе со сжатыми (квантованными) версиями моделей. Подходит, чтобы проверить идею на ваших данных до покупки сервера, и для задач, где запросов немного.

llama.cpp — когда видеокарты нет

Запускает небольшие модели на обычном процессоре. Это медленнее, чем на видеокарте, но для фоновых задач — например, ночного разбора входящих писем — скорости хватает.

Модели с открытыми весами

Qwen, Llama, Mistral, DeepSeek, Gemma, а также российские модели с открытыми весами. Выбираем по качеству на русском языке, размеру и лицензии. Модель скачивается один раз и дальше работает у вас — без подписки и оплаты за каждый запрос.

Распознавание речи и поиск по документам

Модели семейства Whisper переводят записи звонков и совещаний в текст. Для ассистента по базе знаний документы разбиваются на фрагменты и индексируются на том же сервере, а ответ модели опирается на найденные фрагменты и содержит ссылку на источник.

Привычный интерфейс для сотрудников

Чат в браузере, бот в мессенджере или кнопка в Битрикс24 — сотрудник работает там, где ему удобно, а запросы уходят на сервер компании.

Как подбираем сервер

Главное ограничение локальной модели — память видеокарты. От неё зависит, какую модель можно запустить и сколько запросов сервер обработает одновременно.

• Модели на 7–14 млрд параметров в сжатом виде (4–8 бит) работают на одной видеокарте с 16–24 ГБ памяти. Их хватает для расшифровки, кратких содержаний, разбора заявок и ответов по базе знаний.
• Модели на 30–70 млрд параметров лучше справляются со сложными рассуждениями, но им нужно 48–80 ГБ видеопамяти — одна профессиональная видеокарта или несколько обычных.
• Распознавание речи и языковая модель могут работать на одном сервере, если нагрузка это позволяет.
• Сначала пилот: качество проверяем на ваших примерах на тестовом стенде с обезличенными данными, и только потом компания покупает сервер — под измеренную нагрузку, без запаса «на всякий случай».

Как защищаем данные

Закрытый контур — это не только сервер в своей серверной. Важно, куда сервер может обращаться, кто к нему подключается и что остаётся в журналах.

После настройки сервер с видеокартой отключается от интернета на уровне маршрутизатора: исходящие соединения запрещены, доступ — только из внутренней сети компании.

• Сервер стоит в серверной компании или в её стойке в дата-центре. Данные, модели и журналы хранятся на нём.
• Обновления моделей и программ переносятся вручную: файлы проверяются и устанавливаются по согласованию, сервер при этом в интернет не выходит.
• Доступ — по учётным записям сотрудников с ролями. Ассистент по базе знаний отвечает только по тем документам, которые сотруднику разрешено видеть.
• Журналы запросов остаются на сервере; что в них хранить и сколько, решает компания.
• Модели не дообучаются на ваших данных без отдельного решения: знания подключаются через поиск по документам, и их можно убрать в любой момент.
• Наш удалённый доступ — только на время работ, через VPN компании и после подписания соглашения о конфиденциальности.

Что запускаем в закрытом контуре

Расшифровка и анализ звонков

Записи разговоров превращаются в текст с ролями «менеджер» и «клиент», краткое содержание попадает в карточку сделки, а руководитель видит аналитику по всем звонкам.

Ассистент по базе знаний

Отвечает сотрудникам на вопросы по регламентам, инструкциям и шаблонам договоров со ссылкой на документ — вместо того чтобы каждый раз спрашивать руководителя. Работает в Битрикс24 или в отдельном чате.

Боты для сотрудников

Типовые внутренние запросы — найти документ, подготовить черновик письма или ответа клиенту, заполнить шаблон — без выхода из мессенджера или CRM.

Разбор входящих заявок и документов

Письма и сообщения разбираются автоматически: модель выделяет клиента, товары и сроки и готовит запись для 1С или CRM, а менеджер только подтверждает.

Как устроены расшифровка и анализ звонков

Как работает ассистент по базе знаний

Как проходит внедрение

1. Интервью и обследование

   Начинаем с бесплатного интервью на 8 минут, затем смотрим процесс, данные, требования безопасности и имеющееся железо.

2. Пилот на одной задаче

   Обычно три недели. Проверяем качество на ваших примерах и заранее договариваемся, по каким признакам пилот считается удачным.

3. Сервер и внедрение

   Подбираем конфигурацию под измеренную нагрузку, ставим модели, подключаем к Битрикс24, 1С или телефонии и закрываем серверу выход в интернет.

4. Сопровождение

   Обновляем модели, следим за качеством ответов, добавляем новые задачи. Каждый этап — отдельное решение и отдельный договор.

Вопросы о закрытом контуре