Короткий вывод

Локальная модель может быть выгодна при стабильной нагрузке, ограничениях на передачу данных или нескольких процессах на одном сервере. Но сравнение «цена GPU против счёта API» пропускает эксплуатацию, резервирование, работу сотрудников и разницу в качестве. Считать нужно стоимость принятого результата при заданных сроке ответа и доступности.

Проверить гипотезу можно за две-три недели: собрать фактическую нагрузку, сравнить одинаковые запросы в облаке и на целевом локальном узле и посчитать диапазон безубыточности. Все числа ниже — модельные допущения, а не рыночные цены.

Составьте полную смету

У облачного API переменная стоимость обычно зависит от входных и выходных токенов. Добавьте повторы, длинный контекст, пики, платные функции, передачу документов, минимальные платежи и резервный маршрут. Для базы берите логи обычных недель, а не самый загруженный день и не демонстрацию из пяти запросов.

Локальные расходы разложите на четыре корзины:

  • **Оборудование:** сервер, ускоритель, память, диски, сеть, ИБП и размещение. Распределите разовую цену на принятый срок использования; это допущение, а не гарантия срока службы.
  • **Энергия и охлаждение:** измеренная средняя мощность узла, часы работы, тариф и инфраструктура помещения. Пиковая паспортная мощность не равна среднему потреблению.
  • **Эксплуатация:** мониторинг, обновления, резервное копирование, доступы, инциденты, тестирование версий и поддержка. Время штатного специалиста тоже имеет стоимость.
  • **Качество и риск:** доля исправлений человеком, задержки, простои, лицензия модели и цена ошибки. Ответ, который сотрудник переписывает, не является дешёвым ответом.

Добавьте стартовую работу: подготовку данных, настройку модели, интеграцию, защищённый контур и тестовый набор. Её можно учитывать отдельно или распределить по месяцам, но нельзя считать нулём только потому, что платёж был разовым.

Измерьте рабочую нагрузку

За четыре обычные недели посчитайте запросы, длину входа и ответа, время суток, задержки, повторы и долю результатов без правок. Удалите персональные данные либо измеряйте внутри разрешённого контура. Разделите задачи — поиск по документам, черновик письма, извлечение полей, классификация: у них могут быть разные критерии качества.

Соберите тестовый набор из обезличенных реальных примеров. Зафиксируйте эталонные ответы или критерии вместе с владельцем процесса. Сравнивайте одинаковые промпты, контекст и версию базы знаний. Измеряйте не только скорость генерации, но и время до первого полезного ответа, полный цикл, ошибки, отказы и работу человека после модели.

Для локального сервера сопоставьте эти результаты с телеметрией за тот же период. NVIDIA DCGM описывает метрики мощности и энергии GPU, а vLLM — метрики отдельных запросов, включая время обработки и пропускную способность токенов. Их можно связать с тестовым заданием и оценить энергию на принятый ответ. Документация не гарантирует доступность метрики на конкретных карте, драйвере и сборке: это проверяют на целевом узле.

Пример точки безубыточности

Предположим для иллюстрации: 12 000 запросов в месяц, каждый содержит в среднем 2 000 входных и 500 выходных токенов. Это 24 млн входных и 6 млн выходных токенов. При тарифе API за миллион токенов переменная часть равна 24 × цене входа + 6 × цене выхода. Добавьте минимальные платежи, резерв и проверку человеком. Для решения подставьте свой тариф и логи.

Условный локальный узел за 600 000 рублей при амортизации за 36 месяцев стоит 16 667 рублей в месяц. Если весь сервер в среднем потребляет 0,8 кВт круглосуточно, за 30 дней получится 576 кВт·ч. Условный множитель 1,3 на охлаждение и потери даёт 749 кВт·ч; при иллюстративном тарифе 10 рублей за кВт·ч энергия стоит 7 490 рублей. Добавим 12 часов сопровождения по 1 500 рублей (18 000) и 4 000 рублей на поддержку: итого около 46 200 рублей в месяц.

Это не доказательство выгоды локального сервера. Не учтены налоги, стоимость денег, первичная интеграция, резервный узел и простой. Если для доступности нужны два сервера, включите амортизацию и энергию обоих. Если узел обслуживает также поиск или распознавание речи, распределять стоимость можно только между нагрузками, которые действительно на нём работают.

В сценарии локальный вариант начинает выигрывать по прямым затратам, когда сопоставимый облачный обходится дороже примерно 46 200 рублей в месяц. Но качество, задержка, безопасность и доступность должны быть сопоставимы. Более частые ошибки локальной модели увеличат время проверки и порог безубыточности. Простой повысит цену запроса, а сезонные пики могут скрыться за годовым средним.

Проведите короткий пилот

1. **Выберите задачу и владельца.** Определите принятый результат, срок ответа и ответственного за исключения. Начните с бизнес-критерия, не с выбора модели.
2. **Зафиксируйте базу.** Запишите объём, расходы API, время сотрудников и долю правок за обычные недели; отдельно отметьте сезонность.
3. **Сравните варианты.** Проведите облачный и локальный тест на одних обезличенных примерах по одинаковым правилам.
4. **Снимайте метрики.** Учитывайте энергию, загрузку, задержку, пропускную способность, повторы, простои и минуты ручной проверки; отделите тест от фоновой нагрузки.
5. **Проверьте эксплуатацию.** Изучите лицензию, обновления, доступы, резервные копии и план отказа. Само размещение «внутри» не гарантирует безопасность или соответствие требованиям.
6. **Посчитайте три сценария.** Обычный, пиковый и низкий сезон; добавьте простой и резервный маршрут. Сравнивайте годовой диапазон, а не одну цифру.

Проверку человеком нельзя исключать из экономики. Профиль NIST для генеративного ИИ предупреждает о чрезмерном доверии машинным ответам и советует подбирать надзор и тестирование под сценарий. Для черновика внутренней инструкции может хватить выборки; для ответа клиенту, проводки или изменения заказа границы автоматизации должны быть строже.

Ошибки, искажающие результат

  • Считать API по рекламной цене, игнорируя контекст, повторы и резервный сервис.
  • Брать паспортную мощность вместо замера или забыть охлаждение и потери.
  • Растянуть амортизацию и не учесть ремонт, обновление ускорителя и остаточную стоимость.
  • Сравнивать разные модели или оценивать качество по нескольким удачным примерам.
  • Не учитывать администрирование, инциденты и перепроверку сотрудником.
  • Объявить победителя, не оценив цену ошибки, задержки и недоступности.

Uptime Institute включает в расходы ЦОД электроэнергию, охлаждение, обслуживание оборудования и персонал. Офисный узел меньше, но принцип тот же: электричество — не весь TCO. Обзор полезен как список категорий, однако средние показатели крупных площадок нельзя напрямую переносить на сервер малого бизнеса.

Решение для руководителя

Попросите команду показать для каждого варианта четыре числа: стоимость в месяц, цену принятого результата, долю исправлений человеком и доступность в пиковые часы. Рядом укажите допущения и диапазон. Если локальный вариант выгоден лишь при полной загрузке, проверьте, бывает ли она. Если API дороже, но не требует дежурного инженера и второго сервера, включите это в сравнение.

Следующий шаг — выбрать внутренний процесс, выгрузить обезличенную недельную нагрузку и запросить две оценки: API по фактическому объёму и локальный пилот с измерением мощности. После этого решайте, покупать сервер, арендовать вычисления или оставить модель в API. Цель пилота — не доказать заранее выбранную архитектуру, а быстро увидеть полную стоимость и ограничения.

Расчёт модельный: 600 000 рублей, 36 месяцев, 0,8 кВт, множитель 1,3, 10 рублей за кВт·ч, 12 часов по 1 500 рублей и 4 000 рублей поддержки — иллюстративные допущения, не коммерческое предложение и не рекомендация оборудования.