RU ▾

Uncensored Model HubAPI хостинга LLM: что входит, а что — нет

API хостинга LLM: что входит, а что — нет

API хостинга LLM означает, что кто-то другой владеет GPU, загружает модель и поддерживает работу сервера, а вы отправляете HTTP-запросы. Вы платите за каждый токен и избегаете расходов на инфраструктуру. На этой странице описано, что берёт на себя хост, что остаётся на вас, и приведён первый запрос на трёх языках.

Обновлено

Серверная башня, подключенная светящимся кабелем к ноутбуку, символизирует LLM API
Стеклянные звенья цепи, соединяющие модульные блоки с серверным кубом, иллюстрируют LangChain с API модели с открытыми весами

Ключевые моменты

  1. Хостинг включает GPU, загрузку моделей, батчинг, масштабирование и HTTP-эндпоинт; вы предоставляете промпты и ключ.
  2. Интерфейс совместим с OpenAI: измените базовый URL на https://api.uncensoredmodelhub.com/v1 и используйте модель uncensored.
  3. Поддерживаются потоковая передача, вызов функций и JSON-режим; нет эндпоинтов для изображений, аудио, эмбеддингов или дообучения.
  4. Лимиты, которые нужно учитывать: 100 000 токенов контекстного окна, 8 параллельных запросов и 300 в минуту для полного ключа.

Что хостинг обрабатывает за вас

Запуск языковой модели в продакшене — это не только скачивание весов. Хостинг API берёт на себя следующее, чтобы вашему коду не пришлось:

Обрабатывается хостомОстаётся вашим
GPU, драйверы и сервер инференсаНаписание и тестирование ваших промптов
Загрузка модели и поддержание её в активном состоянииВыбор temperature, max_tokens и других настроек
Батчинг множества запросовЛогика повторных попыток для ответов 429
Аутентификация и лимит запросовСохранение вашего API-ключа в секрете
Учёт и предоплаченный балансКонтроль ваших расходов
Обновления ПО на стороне обслуживанияОбработка вывода модели в вашем приложении

Сервис представляет собой чат API, совместимый с OpenAI, обслуживающий одну модель с открытыми весами от независимого провайдера. Это не официальный API какого-либо вендора моделей и не роутер между несколькими. Только текст: нет генерации изображений, аудио или видео, нет векторных представлений и нет дообучения.

Ваш первый запрос

Создайте аккаунт с помощью Google или электронной почты и пароля, затем скопируйте ключ со страницы API-ключ. Активация пробного периода в один клик добавляет $0,50 кредита, действительного в течение 7 дней, без привязки карты.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Те же эндпоинты также включают POST /v1/responses и GET /v1/models. В документации перечислены параметры.

Потоковая передача, инструменты и JSON-режим

Доступны большинство возможностей, которые используют разработчики в чат API.

  • Потоковая передача. Установите stream: true, чтобы получать события от сервера по мере генерации токенов; использование сообщается в конце. Чат-интерфейсы зависят от этого.
  • Вызов инструментов. Передайте tools и tool_choice, прочитайте tool_calls из ответа (они также передаются потоком) и верните результаты как сообщения с role: "tool".
  • JSON-режим. response_format: {"type":"json_object"} заставляет модель возвращать объект JSON, что полезно для извлечения данных и классификации.
  • Управление сэмплированием. temperature, top_p, stop, seed и штрафы передаются напрямую.

Вызов с потоковой передачей в Python выглядит так:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Библиотеки, уже поддерживающие формат OpenAI, такие как LangChain, работают путем изменения базового URL; наша страница о LangChain с открытыми моделями показывает пример.

Лимиты и способы их обработки

Хостинг общий, поэтому есть лимиты. Узнайте о них до того, как построите цикл вокруг API.

  • Контекст: 100 000 токенов, промпт плюс завершение. Завершение может использовать всё, что осталось от промпта, а max_tokens является необязательным.
  • Параллельные запросы и лимиты: полный ключ позволяет 8 параллельных запросов и 300 в минуту; пробный ключ — 2 и 60. Потоковый запрос удерживает слот до завершения потока.
  • Размер тела: 8 МБ на запрос.
  • Ответы 429: код ошибки rate_limited для запросов в минуту, concurrency для одновременных запросов, и заголовок Retry-After: 5 появляется при временной перегрузке.

Простая логика повторных попыток с ожиданием достаточна для большинства приложений. Если запрос не выполняется из-за слишком длинного промпта, страница о ошибках превышения контекстного окна охватывает исправления, такие как суммирование или усечение истории.

Заголовки ответа помогают в мониторинге: X-Request-Id для указания в тикете поддержки, X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency для ваших лимитов, и X-Balance-USD для оставшегося баланса.

Перенос существующего приложения

Если ваш код уже использует клиент OpenAI, его редко нужно переписывать. Официальные SDK читают две переменные окружения, поэтому переключение может произойти вне кода:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Затем установите имя модели на uncensored везде, где ваш код указывает модель. Три вещи стоит проверить перед запуском:

  • Функции, от которых вы зависите. Чат, потоковая передача, инструменты и JSON-режим работают. Вызовы к эндпоинтам эмбеддингов, изображений или аудио не будут работать, так как это сервис только для текста.
  • Длина промпта. Всё, что превышает 100 000 токенов в сумме, должно быть сокращено или суммировано заранее.
  • Параллельные запросы. Если ваше приложение может отправлять более 8 запросов одновременно, поставьте очередь или семафор перед клиентом, чтобы не вызывать ошибки 429 на пиках.

Храните ключ на сервере. Никогда не передавайте его в коде браузера или мобильного приложения, так как любой, кто его извлечёт, сможет потратить ваш баланс. Храните его в переменной окружения или в менеджере секретов и меняйте при утечке.

Стоимость и биллинг

Биллинг начисляется за токены: $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов. Кредит предоплаченный и не сгорает, подписки нет. Неудачные или отклоненные запросы не оплачиваются.

Быстрый пример. Запрос с 2 000 входными токенами и 500 выходными токенами стоит 2 000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Это 1 818 таких запросов за $1. Пополнение — любая целая сумма от $20 до $500, криптовалютой (USDT на TRC20, USDC на Base), с бонусом +5% от $50, +10% от $100 и +15% от $200. См. страницу тарифов.

Чтобы проверить баланс в коде, вызовите GET /v1/balance или вариант в стиле OpenAI GET /v1/dashboard/billing/credit_grants, или прочитайте X-Balance-USD из любого ответа.

Хостинг или самостоятельное развертывание: быстрая проверка

Хостинг API подходит, когда вы хотите быстро выпустить продукт, имеете неравномерный трафик или не хотите управлять GPU. Вы отказываетесь от выбора модели и возможности дообучения. Промпты отправляются провайдеру, хотя они не используются для обучения.

Если вы сравниваете это с запуском собственного оборудования, сравните приведенные выше цены за токен с расценками на ваше оборудование. Для справки о типе модели прочитайте что такое модель без цензуры. По содержанию модель настроена на ответы без отказов для законного использования взрослыми, с одним жестким ограничением: ничего сексуального с участием несовершеннолетних.

Вопросы и ответы

Что такое API хостинга LLM?

Сервис, который запускает языковую модель на собственных GPU и предоставляет доступ по HTTP. Вы отправляете промпты и платите за каждый токен, не управляя серверами.

Совместимо ли с SDK OpenAI?

Да. Укажите базовый URL https://api.uncensoredmodelhub.com/v1, используйте ваш ключ и модель ID uncensored.

Какие лимиты запросов?

Полный ключ позволяет выполнять 8 параллельных запросов и 300 в минуту. Пробный ключ — 2 и 60. При превышении лимита вы получите HTTP 429.

Можно ли дообучать модель или генерировать изображения?

Нет. Это API только для текста: без дообучения, эмбеддингов или генерации изображений, аудио и видео.

Ваш ключ — всего в одном шаге заполнения формы

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ