В OtherCode AI перестал быть «удобной кнопкой в чате» и стал повседневным инструментом: код, документы, онбординг, черновики ответов клиентам. Вместе с пользой вырос другой счётчик — счёт за токены. Параллельно ИБ и юристы всё жёстче спрашивали: куда уходят промпты с ФИО, договорами и внутренними регламентами?
Пилот OtherCode Pro — наш ответ на оба вопроса: локальный AI-сервер в контролируемом контуре, OpenAI-совместимый API /v1, кабинет и привычный сценарий работы в IDE без pay-per-token и без обязательной отправки данных во внешние облака.
Ниже — история изнутри, почему модель «плати за каждый токен» ломает экономику команд, и когда локальный контур выигрывает по деньгам, приватности и скорости.
A. Как у нас росли счета — и что мы пробовали
Сначала всё выглядело безобидно: пара ключей, лимиты «на всякий случай», счета в пределах кофе на команду. Затем AI вошёл в ежедневный цикл:
- автодополнение и рефакторинг в IDE;
- разбор длинных diff и логов;
- черновики ТЗ, писем, FAQ;
- эксперименты с агентами и RAG по внутренним документам.
Объём запросов вырос нелинейно. Платные API хороши на старте, но у них встроенная ловушка: чем активнее команда использует ИИ «правильно», тем быстрее растёт OPEX. Плюс внезапные пики — релиз, онбординг трёх джунов, миграция модуля — и бюджет месяца заканчивается раньше спринта.
Мы перебирали привычные полумеры:
| Что пробовали | Что получили |
|---|---|
| Жёсткие лимиты на ключ | Экономия ценой «ИИ выключили в самый нужный момент» |
| Только «дешёвые» модели | Качество просело там, где нужна точность |
| Личные подписки разработчиков | Теневой IT, разные политики, те же риски данных |
| Смешанный стек провайдеров | Сложнее учёт, не исчезла плата за токен |
Вывод оказался простым: нужен свой inference, если AI — инфраструктура команды, а не редкий ассистент. Так появился контур, который сейчас открыт как пилот pro.othercode.ru: модели на своей стороне (стек вокруг Ollama), шлюз с OpenAI-совместимым /v1, личный кабинет, связка с рабочими процессами команды. В IDE и скриптах меняется base URL и ключ — привычный DX, другая экономика и другой периметр данных.
B. Боль бизнеса: токены, ПДн и закрытый контур
Почему pay-per-token ломает экономику
- Непредсказуемость — стоимость привязана к активности, а не к ценности результата.
- Штраф за adoption — чем лучше люди осваивают ИИ, тем дороже месяц.
- Скрытые налоги процесса — лимиты, апрувы FineOps, споры «кто сжёг бюджет».
- Двойная цена риска — даже «дешёвый» токен дорог, если в промпте оказались ПДн или коммерческая тайна.
Локальный AI переворачивает модель: CapEx / фиксированный контур вместо переменной платы за каждый запрос. На малом объёме облако может быть дешевле; на постоянной нагрузке команды часто выигрывает свой сервер — см. также ориентиры по стоимости железа.
Почему это про персональные данные, а не только про деньги
Публичный API означает: текст запроса, фрагменты кода, вложения и метаданные обрабатываются у провайдера (и часто у его субоператоров). Даже при хорошем DPA остаются вопросы:
- куда физически уезжают данные;
- кто имеет доступ к логам;
- не попадут ли материалы в обучение моделей;
- что будет при смене юрисдикции или блокировке сервиса.
Для организаций в РФ это напрямую стыкуется с логикой 152-ФЗ и политиками ИБ: персональные данные сотрудников и клиентов, кадры, обращения граждан, медицинские и финансовые контуры, внутренняя документация. Подробный разбор мер — в материале AI в закрытом контуре и 152-ФЗ; здесь важна суть:
Данные не обязаны покидать периметр, чтобы команда пользовалась современным ИИ.
OtherCode Pro как пилот и как схема для заказчика заточен под сценарий: inference и политики доступа — в вашем или согласованном контуре, без привычки «вставим в ChatGPT и разберёмся потом».
Риски облака, которые нельзя закрыть скидкой на токены
| Риск | Что происходит на практике |
|---|---|
| Утечка через промпт | Договор, пароль из лога, персональные данные клиента в чате |
| Shadow AI | Сотрудники обходят запрет через личные аккаунты |
| Зависимость от SaaS | Сбой, лимит, смена тарифа — останавливается процесс |
| Compliance gap | Нет единого журнала «кто что спрашивал у модели» |
| Конфликт с периметром | Завод, НИИ, банк, госучреждение — данные не имеют права уходить |
Локальный контур не отменяет политику и обучение людей, но убирает главный канал выноса: внешний inference по умолчанию.
C. Облако vs локально: деньги, приватность, скорость
| Критерий | Публичный API (pay-per-token) | Локальный AI (OtherCode Pro / on-prem) |
|---|---|---|
| Стоимость | Растёт с объёмом запросов | Предсказуемее после порога нагрузки |
| ПДн и тайна | Данные у провайдера | Остаются в контуре |
| 152-ФЗ / ИБ | Нужны договоры, оценки, ограничения | Проще объяснить «где обрабатывается» |
| Лимиты | RPM, квоты, «бюджет кончился» | Ограничение — мощность железа, не счётчик токенов |
| Скорость (latency) | Сеть + очередь провайдера | Локальная сеть, стабильнее под пиком |
| DX для команды | Привычные SDK | Тот же OpenAI-стиль /v1, свой base URL |
| Контроль моделей | Меняет вендор | Версии и состав моделей — ваши |
Что даёт пилот Pro на практике
На pro.othercode.ru мы показываем связку, которую внедряем у себя и предлагаем заказчикам:
- Закрытый контур языковых моделей — без обязательной отправки промптов в чужой SaaS.
- OpenAI-совместимый API
/v1— Cursor, CI-скрипты, внутренние боты подключаются знакомым способом. - Работа без платы за токены — вы платите за инфраструктуру и сопровождение, а не за каждый completion.
- Кабинет и политики доступа — не «общий пароль от Ollama на весь отдел».
- Путь к контуру предприятия — тот же принцип переносится в периметр компании, учреждения, промышленного сегмента.
ИИ при этом остаётся ИИ: агенты, RAG по документам, ускорение разработки, помощь в рутине. Меняется не «магия модели», а где она крутится и кто контролирует данные.
Кому имеет смысл смотреть на Pro и on-prem уже сейчас
- Команды, у которых AI в IDE стал ежедневным — и счета это подтверждают.
- Компании с ПДн, коммерческой тайной, NDA и жёстким ИБ.
- Образование и внутренние лаборатории, где нужен единый endpoint без «лички» студентов и сотрудников.
- Организации, которым нужен предсказуемый контур под аудит, а не набор личных подписок.
Если нагрузка редкая и данные публичные — облачный API нормален. Если AI стал нервной системой процессов — свой сервер перестаёт быть экзотикой.
Итог
Мы ушли в локальный AI не из любви к железу, а потому что pay-per-token конфликтует с масштабом использования, а вынос промптов во внешние API конфликтует с ответственностью за персональные данные и корпоративную тайну.
OtherCode Pro — пилот этой модели: максимум пользы от ИИ (API, IDE, агенты, документы) при контроле затрат и периметра. Посмотреть и пощупать можно на pro.othercode.ru.
Нужен такой же контур у себя — в офисе, ЦОД или закрытом сегменте? Оставьте заявку — спроектируем on-prem / private AI под ваш регламент, 152-ФЗ и реальные сценарии команды. Юридические формулировки политики ПДн согласуйте с вашим DPO; мы закрываем инженерную часть.
