ИИ-сервис / On-premise

On-premise LLM: закрытый ИИ-контур для бизнеса

Развертывание ИИ-агентов и языковых моделей на инфраструктуре компании: роли, доступы, корпоративный контекст, интеграции, журналирование и масштабирование.

Короткий ответ

On-premise решение Trim разворачивается на оборудовании заказчика или в выделенном закрытом контуре. В нем можно использовать корпоративные документы и системы, управлять ролями и правами, вести журнал действий и передавать сложные случаи сотруднику. Точный состав инфраструктуры и работ определяется после аудита процесса и требований к данным.

01

Как работает закрытый ИИ-контур

Запросы могут поступать из сайта, виджета, мессенджеров, email и личного кабинета. Агент определяет роль пользователя, находит разрешенный контекст в FAQ, регламентах, инструкциях и истории обращений, обращается к согласованным системам и фиксирует результат. Сложные, новые и рискованные случаи передаются сотруднику.

02

Единое управление ИИ-агентами

В едином окне команда управляет настройками агентов, ролями и доступами, историей диалогов, контролем качества, лимитами расходов и биллингом. Это позволяет не давать сотрудникам неконтролируемый прямой доступ к моделям, а настраивать правила и ответственность на уровне компании.

03

Корпоративный контекст и интеграции

  • CRM, ERP и 1С - согласованные данные и действия.
  • WMS и TMS - статусы, маршруты и операции.
  • Сайт, API, email и мессенджеры - входящие обращения и ответы.
  • Документы, FAQ, инструкции и история обращений - контекст для ответов.
  • Несколько языковых моделей - выбор по качеству, стоимости и цене ошибки.
04

Доступы и защита данных

  • Изоляция данных клиента от других контуров.
  • Роли, минимально необходимые права и защищенные каналы обмена.
  • Шифрование при хранении и передаче, резервное копирование.
  • NDA, журналирование и удаление данных по согласованным правилам.
  • Для On-premise доступы и журналы остаются под контролем инфраструктуры заказчика.
05

Варианты инфраструктуры

В презентации Trim предусмотрены четыре уровня. Версия 0 - до 5 запросов в день для поддержки, базы знаний и форм: 1U с RTX PRO 4000 24 GB, 64 GB ECC и NVMe 1,9 TB. Версия 1 - 100-500 запросов в день для облегченного сценария декларанта: 1U с L4 24 GB, 128 GB ECC и NVMe 3,8 TB. Версия 2 - 1-5 тыс. запросов в день для ИИ-декларанта: RTX PRO 6000 96 GB, 256 GB ECC и NVMe 7,6 TB. Версия 3 - 10-50 тыс. запросов в день для нескольких агентов: 4U с 4 x RTX PRO 6000, 384 GB VRAM и NVMe 15-30 TB. Ориентиры стоимости оборудования из презентации: €8,45K, €14,3K, €45,5K и €149,5K соответственно. Любой уровень можно масштабировать кластером по мере роста нагрузки. Конфигурацию, оборудование и стоимость мы подтверждаем после аудита, а не выбираем только по числу параметров модели.

06

Как проходит внедрение

  • Согласование NDA и режима работы с данными.
  • Аудит процесса, ролей, объема операций, рисков и целевых метрик.
  • Подключение согласованных каналов и систем.
  • Настройка правил, ограничений, журналирования и контроля качества.
  • Работа на реальных сценариях под надзором специалистов.
  • Расширение автономности только в подтвержденных границах.
07

Сопровождение после запуска

Команда Trim задает разрешенные действия, источники, роли и случаи обязательной передачи человеку; обучает агента на документах, эталонных ответах и реальных кейсах; разбирает ошибки и обновляет базу знаний. Агент развивается вместе с процессом, а не остается разовой установкой без контроля.

Частые вопросы

Чем On-premise отличается от облачного решения?+

При On-premise модели, доступы и журналы размещаются в инфраструктуре заказчика или выделенном закрытом контуре. Облако может быть удобнее для быстрого старта, но окончательный выбор зависит от данных, интеграций, нагрузки, требований безопасности и полной стоимости владения.

Можно ли подключить On-premise ИИ к 1С, CRM, ERP или мессенджерам?+

Да, если система предоставляет согласованный способ интеграции. До запуска определяются минимальные права, доступные действия, правила обработки ошибок и журналирование.

Будет ли агент работать полностью без человека?+

Нет. Автономность расширяется только в проверенных сценариях. Сложные, новые, спорные и рискованные случаи остаются у ответственного сотрудника.

Связаться с Trim

Обсудим ваш процесс и границы пилота