Что хостинг обрабатывает за вас
Запуск языковой модели в продакшене — это не только скачивание весов. Хостинг API берёт на себя следующее, чтобы вашему коду не пришлось:
| Обрабатывается хостом | Остаётся вашим |
|---|---|
| GPU, драйверы и сервер инференса | Написание и тестирование ваших промптов |
| Загрузка модели и поддержание её в активном состоянии | Выбор temperature, max_tokens и других настроек |
| Батчинг множества запросов | Логика повторных попыток для ответов 429 |
| Аутентификация и лимит запросов | Сохранение вашего API-ключа в секрете |
| Учёт и предоплаченный баланс | Контроль ваших расходов |
| Обновления ПО на стороне обслуживания | Обработка вывода модели в вашем приложении |
Сервис представляет собой чат API, совместимый с OpenAI, обслуживающий одну модель с открытыми весами от независимого провайдера. Это не официальный API какого-либо вендора моделей и не роутер между несколькими. Только текст: нет генерации изображений, аудио или видео, нет векторных представлений и нет дообучения.
Ваш первый запрос
Создайте аккаунт с помощью Google или электронной почты и пароля, затем скопируйте ключ со страницы API-ключ. Активация пробного периода в один клик добавляет $0,50 кредита, действительного в течение 7 дней, без привязки карты.
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
Те же эндпоинты также включают POST /v1/responses и GET /v1/models. В документации перечислены параметры.
Потоковая передача, инструменты и JSON-режим
Доступны большинство возможностей, которые используют разработчики в чат API.
- Потоковая передача. Установите
stream: true, чтобы получать события от сервера по мере генерации токенов; использование сообщается в конце. Чат-интерфейсы зависят от этого. - Вызов инструментов. Передайте
toolsиtool_choice, прочитайтеtool_callsиз ответа (они также передаются потоком) и верните результаты как сообщения сrole: "tool". - JSON-режим.
response_format: {"type":"json_object"}заставляет модель возвращать объект JSON, что полезно для извлечения данных и классификации. - Управление сэмплированием. temperature, top_p, stop, seed и штрафы передаются напрямую.
Вызов с потоковой передачей в Python выглядит так:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Библиотеки, уже поддерживающие формат OpenAI, такие как LangChain, работают путем изменения базового URL; наша страница о LangChain с открытыми моделями показывает пример.
Лимиты и способы их обработки
Хостинг общий, поэтому есть лимиты. Узнайте о них до того, как построите цикл вокруг API.
- Контекст: 100 000 токенов, промпт плюс завершение. Завершение может использовать всё, что осталось от промпта, а
max_tokensявляется необязательным. - Параллельные запросы и лимиты: полный ключ позволяет 8 параллельных запросов и 300 в минуту; пробный ключ — 2 и 60. Потоковый запрос удерживает слот до завершения потока.
- Размер тела: 8 МБ на запрос.
- Ответы 429: код ошибки
rate_limitedдля запросов в минуту,concurrencyдля одновременных запросов, и заголовокRetry-After: 5появляется при временной перегрузке.
Простая логика повторных попыток с ожиданием достаточна для большинства приложений. Если запрос не выполняется из-за слишком длинного промпта, страница о ошибках превышения контекстного окна охватывает исправления, такие как суммирование или усечение истории.
Заголовки ответа помогают в мониторинге: X-Request-Id для указания в тикете поддержки, X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency для ваших лимитов, и X-Balance-USD для оставшегося баланса.
Перенос существующего приложения
Если ваш код уже использует клиент OpenAI, его редко нужно переписывать. Официальные SDK читают две переменные окружения, поэтому переключение может произойти вне кода:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
Затем установите имя модели на uncensored везде, где ваш код указывает модель. Три вещи стоит проверить перед запуском:
- Функции, от которых вы зависите. Чат, потоковая передача, инструменты и JSON-режим работают. Вызовы к эндпоинтам эмбеддингов, изображений или аудио не будут работать, так как это сервис только для текста.
- Длина промпта. Всё, что превышает 100 000 токенов в сумме, должно быть сокращено или суммировано заранее.
- Параллельные запросы. Если ваше приложение может отправлять более 8 запросов одновременно, поставьте очередь или семафор перед клиентом, чтобы не вызывать ошибки 429 на пиках.
Храните ключ на сервере. Никогда не передавайте его в коде браузера или мобильного приложения, так как любой, кто его извлечёт, сможет потратить ваш баланс. Храните его в переменной окружения или в менеджере секретов и меняйте при утечке.
Стоимость и биллинг
Биллинг начисляется за токены: $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов. Кредит предоплаченный и не сгорает, подписки нет. Неудачные или отклоненные запросы не оплачиваются.
Быстрый пример. Запрос с 2 000 входными токенами и 500 выходными токенами стоит 2 000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Это 1 818 таких запросов за $1. Пополнение — любая целая сумма от $20 до $500, криптовалютой (USDT на TRC20, USDC на Base), с бонусом +5% от $50, +10% от $100 и +15% от $200. См. страницу тарифов.
Чтобы проверить баланс в коде, вызовите GET /v1/balance или вариант в стиле OpenAI GET /v1/dashboard/billing/credit_grants, или прочитайте X-Balance-USD из любого ответа.
Хостинг или самостоятельное развертывание: быстрая проверка
Хостинг API подходит, когда вы хотите быстро выпустить продукт, имеете неравномерный трафик или не хотите управлять GPU. Вы отказываетесь от выбора модели и возможности дообучения. Промпты отправляются провайдеру, хотя они не используются для обучения.
Если вы сравниваете это с запуском собственного оборудования, сравните приведенные выше цены за токен с расценками на ваше оборудование. Для справки о типе модели прочитайте что такое модель без цензуры. По содержанию модель настроена на ответы без отказов для законного использования взрослыми, с одним жестким ограничением: ничего сексуального с участием несовершеннолетних.

