中文 ▾

Uncensored Model HubLLM 托管 API:你得到什么,跳过什么

LLM 托管 API:你得到什么,跳过什么

LLM 托管 API 意味着由他人拥有 GPU、加载模型并保持服务器运行,你发送 HTTP 请求。你按 token 付费并跳过基础设施。本页面列出了由托管方处理的内容、仍由你负责的内容,以及三种语言下的第一个请求示例。

更新于

玻璃服务器塔通过一根发光电缆连接到笔记本电脑,代表托管式 LLM API
玻璃链连接模块化模块与服务器立方体,展示 LangChain 与开放权重模型 API 的结合

要点

  1. 托管涵盖 GPU、模型加载、批处理、扩展和 HTTP 接口;你提供提示词和密钥。
  2. 接口与 OpenAI 兼容:将 Base URL 更改为 https://api.uncensoredmodelhub.com/v1 并使用模型 uncensored。
  3. 支持流式输出、工具调用和 JSON 模式;没有图像、音频、嵌入或微调接口。
  4. 需要规划的限制:100,000 个 token 的上下文窗口,完整密钥支持 8 个并发请求和每分钟 300 个请求。

托管方为你处理的内容

在生产环境中运行语言模型不仅仅是下载权重。托管 API 承担以下工作,以便你的代码无需处理:

由托管方处理仍由你负责
GPU、驱动程序和推理服务器编写和测试你的提示词
加载模型并保持其预热状态选择 temperature、max_tokens 和其他设置
将多个请求批处理在一起针对 429 响应的重试逻辑
认证和速率限制保持你的 API 密钥保密
计量和预付额度监控你的支出
服务端的软件更新在你的应用中处理模型输出

此处提供的服务是一个 OpenAI 兼容的聊天 API,服务于一个开放权重模型,由独立提供商运行。它不是任何模型供应商的官方 API,也不是跨多个模型的网关。仅支持文本:不支持图像、音频或视频生成,不支持嵌入和微调。

你的第一次请求

使用 Google 或电子邮件和密码创建账户,然后从 API 密钥页面 复制密钥。一键领取试用会添加 $0.50 的额度,有效期 7 天,无需信用卡。

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

相同的端点还包括 POST /v1/responses 和 GET /v1/models。文档 列出了参数。

流式输出、工具调用和 JSON 模式

聊天 API 中开发人员使用的大部分内容都可用。

  • 流式输出。 设置 stream: true 以接收服务器发送的事件,以便在生成 token 时获取;使用情况会在结束时报告。聊天 UI 依赖于此功能。
  • 工具调用。 传递 tools 和 tool_choice,从回复中读取 tool_calls(它们也会流式传输),并以 role: "tool" 作为消息返回结果。
  • JSON 模式。 response_format: {"type":"json_object"} 使模型返回 JSON 对象,适用于提取和分类。
  • 采样控制。 temperature、top_p、stop、seed 和惩罚参数会被透传。

Python 中的流式调用如下所示:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

已经支持 OpenAI 格式的库(如 LangChain)只需更改 Base URL 即可工作;我们在 LangChain 与开源模型 页面上展示了示例。

限制及应对方法

托管是共享的,因此存在限制。在围绕 API 构建循环之前,请了解这些限制。

  • 上下文窗口: 100,000 个 token,包括提示词和补全。补全可以使用提示词未使用的任何部分,且 max_tokens 是可选的。
  • 并发和速率: 正式密钥允许 8 个并发请求和每分钟 300 个请求;试用密钥允许 2 个和 60 个。流式请求会占用其槽位,直到流结束。
  • 请求体大小: 每个请求 8 MB。
  • 429 响应: 每分钟请求限制的错误代码为 rate_limited,并发过多为 concurrency,临时过载时会出现 Retry-After: 5 头。

大多数应用程序中,简单的等待并重试就足够了。如果请求因提示词过长而失败,上下文窗口超出错误 页面涵盖了总结或截断历史等修复方法。

响应头有助于监控:X-Request-Id 可用于在支持工单中引用,X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用于你的上限,X-Balance-USD 用于显示剩余余额。

迁移现有应用

如果你的代码已经使用 OpenAI 客户端,通常无需重写。官方 SDK 读取两个环境变量,因此切换可以在代码外部进行:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

然后在代码中指定模型的地方将模型名称设置为 uncensored。在上线之前,有三件事值得检查:

  • 你依赖的功能。 聊天、流式输出、工具和 JSON 模式均可用。对嵌入、图像或音频接口的调用将不可用,因为这是一个纯文本服务。
  • 提示词长度。 总 token 数超过 100,000 的内容必须先截断或总结。
  • 并发。 如果你的应用能同时触发超过 8 个请求,请在客户端前放置队列或信号量,以免在峰值时触发 429 错误。

将密钥保留在服务器上。不要将其包含在浏览器代码或移动应用中,因为任何提取它的人都可以消耗你的余额。将其存储在环境变量或密钥管理器中,如果泄露则轮换密钥。

成本和计费

计费按 token 计算:每 1M 输入 $0.15,每 1M 输出 $0.50。信用额度为预付且永不过期,没有订阅。失败或被拒绝的请求不收费。

一个快速示例。一个输入 2,000 个 token、输出 500 个 token 的请求成本为 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。即每 $1可发起 1,818 次此类请求。充值金额为 $20 到 $500 之间的任意整数金额,支持加密货币(TRC20 上的 USDT、Base 上的 USDC),从 $50 起获得 +5% 奖励,从 $100 起获得 +10% 奖励,从 $200 起获得 +15% 奖励。详见 定价页面。

要在代码中检查余额,请调用 GET /v1/balance 或 OpenAI 风格的 GET /v1/dashboard/billing/credit_grants,或从任何响应中读取 X-Balance-USD。

托管与自托管:快速检查

当你希望快速交付、流量不均匀或不想操作 GPU 时,托管 API 很合适。你放弃了选择模型的自由和微调能力。提示词会发送给提供商,尽管它们不用于训练。

如果你正在将其与运行自己的硬件进行比较,请将上述每 token 成本与你的硬件报价进行比较。关于模型类型的背景信息,请阅读 什么是无审查 AI 模型。内容方面,该模型经过调整,可在合法成人使用中无拒绝地回答问题,只有一个硬性限制:禁止涉及未成年人的性内容。

问答

什么是 LLM 托管 API?

一项在自有 GPU 上运行语言模型并通过 HTTP 暴露接口的服务。你发送提示词并按 token 付费,无需管理服务器。

是否与 OpenAI SDK 兼容?

兼容。将 Base URL 设置为 https://api.uncensoredmodelhub.com/v1,使用你的 API 密钥和模型 ID uncensored 即可。

速率限制是多少?

正式 API 密钥允许 8 个并发请求和每分钟 300 个请求。试用 API 密钥允许 2 个和 60 个。超出限制时,你将收到 HTTP 429 错误。

我可以微调或生成图像吗?

不可以。这是一个纯文本 API,不支持微调、嵌入或图像、音频、视频生成。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥