RU ▾

Uncensored Model HubСамостоятельный хостинг LLM или API: стоимость, усилия и точка безубыточности

Самостоятельный хостинг LLM или API: стоимость, усилия и точка безубыточности

Вопрос «самостоятельный хостинг LLM или API» — это в основном арифметика и честная оценка вашего времени. Запуск модели самостоятельно даёт контроль и фиксированный счёт; API даёт нулевую настройку и счёт, зависящий от использования. Вот как определить, какой вариант выгоднее для вашего объёма.

Обновлено

Весы, взвешивающие серверную стойку против облачного узла и монет, сравнивающие самостоятельный запуск с API
Стеклянные звенья цепи, соединяющие модульные блоки с серверным кубом, иллюстрируют LangChain с API модели с открытыми весами

Ключевые моменты

  1. Модели требуется около 0,5 байта на параметр при 4-битном кодировании и 2 байта при 16-битном, без учёта кэша и накладных расходов, поэтому модели на 70B требуется примерно от 35 до 140 ГБ видеопамяти GPU.
  2. По цене $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов, 100 млн входных плюс 20 млн выходных токенов в месяц обойдутся в $25.
  3. Самостоятельный запуск выигрывает в дообучении, офлайн-режиме и при очень высоком стабильном объёме; API выигрывает при низкой или скачкообразной нагрузке.
  4. Посчитайте свои часы: обновления, драйверы и мониторинг — часть стоимости.

Краткий ответ

Для большинства частных лиц и небольших команд API дешевле, пока трафик не станет высоким и постоянным. При выборе между самостоятельным запуском и API решающая переменная — загрузка: GPU, который вы оплачиваете круглосуточно, стоит одинаково, обслуживает ли он миллион токенов или десять. API с оплатой за токен взимает плату только за использованные токены.

Самостоятельный запуск имеет смысл, когда нужно дообучить модель, когда данные не должны покидать вашу сеть, когда нужно запустить конкретную модель или когда у вас есть стабильная высокая нагрузка и кто-то для обслуживания оборудования. API имеет смысл, когда вы хотите запустить его в тот же день, когда использование неравномерное или когда один человек делает всё сам.

Далее в статье приведены числа, которые вы можете воспроизвести. Мы не приводим цены на оборудование или облачные услуги, так как они меняются; вы добавите свою оценку стоимости в формулы.

Какое оборудование на самом деле нужно модели

Главное ограничение — память GPU. Одни веса занимают примерно parameters × bytes per parameter:

Размер модели16-бит (2 байта)8-бит (1 байт)4-бит (0,5 байта)
8B16 ГБ8 ГБ4 ГБ
32B64 ГБ32 ГБ16 ГБ
70B140 ГБ70 ГБ35 ГБ

Это минимальный объём. Вам также нужна память для кэша внимания, которая растёт с длиной контекста и количеством одновременных запросов, плюс накладные расходы среды выполнения. Обслуживание контекста на 100 000 токенов для нескольких пользователей одновременно может потребовать гораздо больше памяти, чем веса, и эти числа зависят от архитектуры модели. Меньшие квантованные модели работают на одном потребительском GPU; крупные требуют нескольких GPU или арендованного узла, а также сервера инференса, такого как vLLM или llama.cpp, для пакетной обработки запросов.

Квантование до 4 бит экономит память ценой некоторой потери качества, и эта потеря варьируется в зависимости от модели и задачи. Вам нужно протестировать это на своих собственных промптах.

Работа, не учтённая в расчёте оборудования

Оборудование — это видимая стоимость. Менее видимая часть — эксплуатация:

  • Настройка. Драйверы, версии CUDA, сервер инференса, слой совместимости с OpenAI, аутентификация и обратный прокси. Первая рабочая настройка часто занимает день или больше; настройка для продакшена занимает больше времени.
  • Настройка. Размеры пакетов, ограничения контекста, настройки памяти и параметры сэмплирования определяют, обслуживаете ли вы 2 пользователя или 20.
  • Обновления. Новые версии моделей, патчи безопасности и обновления серверов инференса выходят регулярно и иногда ломают работу.
  • Мониторинг. Кто-то должен заметить, когда ночью у GPU закончится память.
  • Простой. Машина, которая простаивает, всё равно потребляет энергию или требует аренды.

Оцените стоимость своего часа в часовой ставке и добавьте примерно четыре-восемь часов в месяц на обслуживание. Эта сумма часто превышает счёт за электричество для небольших развертываний.

Сколько стоит API для того же объёма

Это API начисляет $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов из предоплаченного баланса, который не сгорает. Подписки нет, неудачные или отклонённые запросы не оплачиваются. Подробные примеры по месяцам:

Токены в месяц (вход / выход)Стоимость входных данныхСтоимость выходных данныхИтого
20 млн / 5 млн$3,00$2,50$5,50
100 млн / 20 млн$15,00$10,00$25,00
1 000 млн / 200 млн$150,00$100,00$250,00

Для соотношения входных и выходных токенов 5:1, 6 млн токенов обойдутся в 5 × $0,15 + 1 × $0,50 = $1,25, или примерно $0,21 за миллион смешанных токенов. Ваше соотношение будет отличаться, поэтому пересчитайте его со своими средними значениями. См. страницу цен для сумм пополнения и бонусов.

Найдите свою точку безубыточности

Сложите всё, что вы платите каждый месяц за самостоятельный запуск: стоимость оборудования, делённую на срок использования, или плату за аренду; электроэнергию; и стоимость ваших часов обслуживания. Назовём эту сумму F. Затем:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Каждые $100 фиксированных ежемесячных расходов равны примерно 480 млн токенов в API при таком соотношении. Если ваш реальный трафик значительно ниже точки безубыточности, что верно для большинства побочных проектов, внутренних инструментов и небольших продуктов, API дешевле. Если он значительно выше и постоянен, владение оборудованием может быть выгоднее. Проверьте это сравнение по актуальным числам, так как обе стороны меняются.

Помните, что возможности самохостинга также ограничены. Одна машина может одновременно обрабатывать ограниченное число запросов. На полном ключе здесь допускается 8 параллельных запросов и 300 в минуту, а пропускная способность за ними — не ваша проблема.

Чем вы жертвуете с хостинг-API

API — это не бесплатный обед, и некоторые ограничения стоит озвучить прямо.

  • Одна модель. Этот сервис запускает единственную модель с открытыми весами от независимого провайдера, идентификатор модели uncensored. Вы не можете заменить её или загрузить собственные веса.
  • Только текст: без изображений, аудио, видео или эмбеддингов, и без дообучения.
  • Контекстное окно на 100 000 токенов, промпт плюс завершение.
  • Ваши промпты покидают вашу сеть. Они не используются для обучения, но если политика требует обработки на месте, самостоятельный запуск — правильный ответ.

Взамен вы получаете потоковую передачу, вызов функций и JSON-режим через стандартный интерфейс OpenAI, поэтому существующий код работает с изменённым базовым URL. Фреймворки тоже помогают; наша заметка об использовании моделей с открытым исходным кодом в LangChain показывает, как направить его на такой эндпоинт.

Дешёвый способ принять решение

Не покупайте оборудование, чтобы понять, нужно ли оно вам. Сначала запустите свою реальную нагрузку через API, измерьте количество токенов в месяц, и только затем сравнивайте с коммерческим предложением хостинга. Пробный кредит $0,50 в один клик доступен на странице API-ключ, и вызов API — стандартный для OpenAI:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Ответ включает объект использования и заголовок X-Balance-USD, поэтому неделя обычного использования даст вам реальную ежемесячную цифру. Если эта цифра окажется близкой к точке безубыточности, у вас будут данные для принятия решения. Подробности настройки — в документации. Для справки о типе модели см. что такое модель без цензуры.

Вопросы и ответы

Дешевле ли запускать LLM самостоятельно, чем использовать API?

Только при высоком и стабильном объёме. Стоимость GPU одинакова в простое и под нагрузкой, тогда как API тарифицируется за каждый токен. Рассчитайте точку безубыточности с помощью приведённой выше формулы.

Сколько памяти GPU мне нужно?

Веса занимают около 2 байт на параметр при 16-битном формате и 0,5 байта при 4-битном, поэтому 70B-модели требуется примерно 140 ГБ или 35 ГБ, плюс память для контекстного кэша.

Можно ли дообучать модель через этот API?

Нет. Это только текстовый инференс без возможности дообучения или получения эмбеддингов. Если вам нужны собственные веса, правильным решением будет самостоятельный хостинг.

Сколько стоит API?

0,15 $ за 1 млн входных токенов и 0,50 $ за 1 млн выходных токенов, предоплаченный баланс, без подписки, за неудачные запросы не взимается плата.

Используете ли вы мои промпты для обучения?

Нет. Промпты не используются для обучения.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.

Получить API-ключ