Локально — не значит бесплатно

Для малого бизнеса вопрос обычно звучит так: когда выгоднее платить за каждый вызов внешней модели, а когда держать модель внутри своей инфраструктуры? Универсального порога нет. Он зависит не только от тарифа API, но и от числа операций, длины запросов, требований к задержке и стоимости людей, которые будут поддерживать контур.

Частая ошибка — сравнить счёт API только с ценой видеокарты. В локальном варианте остаются амортизация оборудования, электричество, резервирование, обновления, мониторинг, время администратора и цена простоя. У API, наоборот, кроме токенов могут появляться плата за инструменты, хранение, сетевые ограничения и дополнительные проверки. Считать нужно одну и ту же завершённую бизнес-операцию, а не «цену модели» в вакууме.

Сначала выберите повторяемую операцию

Подходящий кандидат — задача с понятным входом и проверяемым выходом: классификация обращений, извлечение нескольких полей из типового документа, маршрутизация заявки или черновик ответа по утверждённой базе знаний. Не начинайте с «пусть модель помогает всем». Такой проект смешивает десятки сценариев, а затраты и ошибки становятся неразличимыми.

Для пилота зафиксируйте:
- число операций в месяц и распределение нагрузки по часам;
- средний объём входа и выхода, включая системные инструкции и контекст;
- долю запросов, требующих повторной проверки человеком;
- допустимую задержку и стоимость ошибки;
- минимальные требования к доступности и защите данных.

Проведите тест на реальных обезличенных примерах. Дешёвый ответ, который сотрудник каждый раз перепроверяет и переписывает, не является дешёвым решением.

Формула сравнения

Обозначим через `N` число операций в месяц, через `C_api` — среднюю полную цену одной успешной операции через API, а через `C_local` — месячные затраты локального контура. Тогда простая точка безубыточности: `N × C_api = C_local`. Если операций меньше порога, переменная оплата может быть разумнее. Если больше — локальный вариант заслуживает отдельного теста, но только при приемлемом качестве и достаточной загрузке оборудования.

В модельный расчёт включайте:
- API: входные и выходные токены, повторные вызовы, классификатор или проверяющую модель, инструменты и налоги/конвертацию, если применимо;
- локально: амортизацию сервера, электричество, резервное устройство или запас мощности, сопровождение, обновление моделей и стоимость простоя;
- в обоих вариантах: интеграцию, журналирование, контроль качества и ручную обработку исключений.

Небольшой условный пример

Допустим, локальный сервер и сопровождение вместе обходятся компании в 14 000 рублей в месяц. Это не рыночная котировка, а округлённое допущение для демонстрации. Если API-вариант одной успешно обработанной операции стоит в среднем 1,50 рубля, математический порог равен примерно 9 334 операциям в месяц: `14 000 / 1,50`.

Но это ещё не решение о покупке. Если качество локальной модели на нужных документах ниже и сотрудникам приходится вручную исправлять больше результатов, локальная версия может проиграть даже выше порога. Если же сервер нужен только для одного сценария с 800 операциями в месяц, постоянные затраты, вероятно, будут трудно оправдать. Перед переносом пересчитайте `C_api` по фактическим токенам и актуальному тарифу выбранной модели: цены меняются, а длинный контекст может изменить стоимость на порядок.

Где уместен локальный запуск

Открытые инструменты вроде llama.cpp позволяют запускать квантизованные модели на CPU и GPU, предоставляют серверный интерфейс и поддерживают параллельные запросы. Это снижает порог эксперимента, но не отменяет инженерную работу: нужно закрепить версию модели, проверить лицензию именно весов, закрыть административные маршруты, ограничить доступ, вести метрики и тестировать обновления.

Для локального контура особенно важны:
- нагрузочный тест на вашем оборудовании, а не только на чужом бенчмарке;
- пропускная способность при реальном числе одновременных пользователей;
- объём памяти под веса и контекст;
- резервирование, обновления и план восстановления;
- проверка качества на русских формулировках и ваших типовых данных.

У API проще начать и масштабировать всплески нагрузки. Локальная модель может дать контроль над данными и предсказуемую предельную стоимость при высокой загрузке. Ни одно из этих преимуществ не гарантирует экономии автоматически.

Практический план на две недели

1. Выберите одну повторяемую операцию и соберите 100–300 обезличенных примеров с эталонными ответами.
2. Замерьте качество, долю ручных исправлений, задержку и расход токенов через API.
3. На том же наборе проверьте одну локально запускаемую модель и посчитайте нагрузку на целевом оборудовании.
4. Сведите переменные и постоянные расходы в одну таблицу; используйте фактический объём операций, а не план «когда-нибудь вырастем».
5. Определите условия остановки: качество ниже минимума, слишком высокая ручная проверка или отсутствие окупаемости в горизонте, который приемлем бизнесу.

Это расчёт владения процессом, а не соревнование моделей. Если цифры не сходятся на одной операции, сначала упростите задачу, уменьшите контекст или оставьте модель только для случаев, где она действительно помогает.