Краткий ответ
Для большинства частных лиц и небольших команд API дешевле, пока трафик не станет высоким и постоянным. При выборе между самостоятельным запуском и API решающая переменная — загрузка: GPU, который вы оплачиваете круглосуточно, стоит одинаково, обслуживает ли он миллион токенов или десять. API с оплатой за токен взимает плату только за использованные токены.
Самостоятельный запуск имеет смысл, когда нужно дообучить модель, когда данные не должны покидать вашу сеть, когда нужно запустить конкретную модель или когда у вас есть стабильная высокая нагрузка и кто-то для обслуживания оборудования. API имеет смысл, когда вы хотите запустить его в тот же день, когда использование неравномерное или когда один человек делает всё сам.
Далее в статье приведены числа, которые вы можете воспроизвести. Мы не приводим цены на оборудование или облачные услуги, так как они меняются; вы добавите свою оценку стоимости в формулы.
Какое оборудование на самом деле нужно модели
Главное ограничение — память GPU. Одни веса занимают примерно parameters × bytes per parameter:
| Размер модели | 16-бит (2 байта) | 8-бит (1 байт) | 4-бит (0,5 байта) |
|---|---|---|---|
| 8B | 16 ГБ | 8 ГБ | 4 ГБ |
| 32B | 64 ГБ | 32 ГБ | 16 ГБ |
| 70B | 140 ГБ | 70 ГБ | 35 ГБ |
Это минимальный объём. Вам также нужна память для кэша внимания, которая растёт с длиной контекста и количеством одновременных запросов, плюс накладные расходы среды выполнения. Обслуживание контекста на 100 000 токенов для нескольких пользователей одновременно может потребовать гораздо больше памяти, чем веса, и эти числа зависят от архитектуры модели. Меньшие квантованные модели работают на одном потребительском GPU; крупные требуют нескольких GPU или арендованного узла, а также сервера инференса, такого как vLLM или llama.cpp, для пакетной обработки запросов.
Квантование до 4 бит экономит память ценой некоторой потери качества, и эта потеря варьируется в зависимости от модели и задачи. Вам нужно протестировать это на своих собственных промптах.
Работа, не учтённая в расчёте оборудования
Оборудование — это видимая стоимость. Менее видимая часть — эксплуатация:
- Настройка. Драйверы, версии CUDA, сервер инференса, слой совместимости с OpenAI, аутентификация и обратный прокси. Первая рабочая настройка часто занимает день или больше; настройка для продакшена занимает больше времени.
- Настройка. Размеры пакетов, ограничения контекста, настройки памяти и параметры сэмплирования определяют, обслуживаете ли вы 2 пользователя или 20.
- Обновления. Новые версии моделей, патчи безопасности и обновления серверов инференса выходят регулярно и иногда ломают работу.
- Мониторинг. Кто-то должен заметить, когда ночью у GPU закончится память.
- Простой. Машина, которая простаивает, всё равно потребляет энергию или требует аренды.
Оцените стоимость своего часа в часовой ставке и добавьте примерно четыре-восемь часов в месяц на обслуживание. Эта сумма часто превышает счёт за электричество для небольших развертываний.
Сколько стоит API для того же объёма
Это API начисляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов из предоплаченного баланса, который не сгорает. Подписки нет, неудачные или отклонённые запросы не оплачиваются. Подробные примеры по месяцам:
| Токены в месяц (вход / выход) | Стоимость входных данных | Стоимость выходных данных | Итого |
|---|---|---|---|
| 20 млн / 5 млн | $3,00 | $2,50 | $5,50 |
| 100 млн / 20 млн | $15,00 | $10,00 | $25,00 |
| 1 000 млн / 200 млн | $150,00 | $100,00 | $250,00 |
Для соотношения входных и выходных токенов 5:1, 6 млн токенов обойдутся в 5 × $0,15 + 1 × $0,50 = $1,25, или примерно $0,21 за миллион смешанных токенов. Ваше соотношение будет отличаться, поэтому пересчитайте его со своими средними значениями. См. страницу цен для сумм пополнения и бонусов.
Найдите свою точку безубыточности
Сложите всё, что вы платите каждый месяц за самостоятельный запуск: стоимость оборудования, делённую на срок использования, или плату за аренду; электроэнергию; и стоимость ваших часов обслуживания. Назовём эту сумму F. Затем:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Каждые $100 фиксированных ежемесячных расходов равны примерно 480 млн токенов в API при таком соотношении. Если ваш реальный трафик значительно ниже точки безубыточности, что верно для большинства побочных проектов, внутренних инструментов и небольших продуктов, API дешевле. Если он значительно выше и постоянен, владение оборудованием может быть выгоднее. Проверьте это сравнение по актуальным числам, так как обе стороны меняются.
Помните, что возможности самохостинга также ограничены. Одна машина может одновременно обрабатывать ограниченное число запросов. На полном ключе здесь допускается 8 параллельных запросов и 300 в минуту, а пропускная способность за ними — не ваша проблема.
Чем вы жертвуете с хостинг-API
API — это не бесплатный обед, и некоторые ограничения стоит озвучить прямо.
- Одна модель. Этот сервис запускает единственную модель с открытыми весами от независимого провайдера, идентификатор модели
uncensored. Вы не можете заменить её или загрузить собственные веса. - Только текст: без изображений, аудио, видео или эмбеддингов, и без дообучения.
- Контекстное окно на 100 000 токенов, промпт плюс завершение.
- Ваши промпты покидают вашу сеть. Они не используются для обучения, но если политика требует обработки на месте, самостоятельный запуск — правильный ответ.
Взамен вы получаете потоковую передачу, вызов функций и JSON-режим через стандартный интерфейс OpenAI, поэтому существующий код работает с изменённым базовым URL. Фреймворки тоже помогают; наша заметка об использовании моделей с открытым исходным кодом в LangChain показывает, как направить его на такой эндпоинт.
Дешёвый способ принять решение
Не покупайте оборудование, чтобы понять, нужно ли оно вам. Сначала запустите свою реальную нагрузку через API, измерьте количество токенов в месяц, и только затем сравнивайте с коммерческим предложением хостинга. Пробный кредит $0,50 в один клик доступен на странице API-ключ, и вызов API — стандартный для OpenAI:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
Ответ включает объект использования и заголовок X-Balance-USD, поэтому неделя обычного использования даст вам реальную ежемесячную цифру. Если эта цифра окажется близкой к точке безубыточности, у вас будут данные для принятия решения. Подробности настройки — в документации. Для справки о типе модели см. что такое модель без цензуры.

