托管方为你处理的内容
在生产环境中运行语言模型不仅仅是下载权重。托管 API 承担以下工作,以便你的代码无需处理:
| 由托管方处理 | 仍由你负责 |
|---|---|
| GPU、驱动程序和推理服务器 | 编写和测试你的提示词 |
| 加载模型并保持其预热状态 | 选择 temperature、max_tokens 和其他设置 |
| 将多个请求批处理在一起 | 针对 429 响应的重试逻辑 |
| 认证和速率限制 | 保持你的 API 密钥保密 |
| 计量和预付额度 | 监控你的支出 |
| 服务端的软件更新 | 在你的应用中处理模型输出 |
此处提供的服务是一个 OpenAI 兼容的聊天 API,服务于一个开放权重模型,由独立提供商运行。它不是任何模型供应商的官方 API,也不是跨多个模型的网关。仅支持文本:不支持图像、音频或视频生成,不支持嵌入和微调。
你的第一次请求
使用 Google 或电子邮件和密码创建账户,然后从 API 密钥页面 复制密钥。一键领取试用会添加 $0.50 的额度,有效期 7 天,无需信用卡。
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
相同的端点还包括 POST /v1/responses 和 GET /v1/models。文档 列出了参数。
流式输出、工具调用和 JSON 模式
聊天 API 中开发人员使用的大部分内容都可用。
- 流式输出。 设置
stream: true以接收服务器发送的事件,以便在生成 token 时获取;使用情况会在结束时报告。聊天 UI 依赖于此功能。 - 工具调用。 传递
tools和tool_choice,从回复中读取tool_calls(它们也会流式传输),并以role: "tool"作为消息返回结果。 - JSON 模式。
response_format: {"type":"json_object"}使模型返回 JSON 对象,适用于提取和分类。 - 采样控制。 temperature、top_p、stop、seed 和惩罚参数会被透传。
Python 中的流式调用如下所示:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
已经支持 OpenAI 格式的库(如 LangChain)只需更改 Base URL 即可工作;我们在 LangChain 与开源模型 页面上展示了示例。
限制及应对方法
托管是共享的,因此存在限制。在围绕 API 构建循环之前,请了解这些限制。
- 上下文窗口: 100,000 个 token,包括提示词和补全。补全可以使用提示词未使用的任何部分,且
max_tokens是可选的。 - 并发和速率: 正式密钥允许 8 个并发请求和每分钟 300 个请求;试用密钥允许 2 个和 60 个。流式请求会占用其槽位,直到流结束。
- 请求体大小: 每个请求 8 MB。
- 429 响应: 每分钟请求限制的错误代码为
rate_limited,并发过多为concurrency,临时过载时会出现Retry-After: 5头。
大多数应用程序中,简单的等待并重试就足够了。如果请求因提示词过长而失败,上下文窗口超出错误 页面涵盖了总结或截断历史等修复方法。
响应头有助于监控:X-Request-Id 可用于在支持工单中引用,X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用于你的上限,X-Balance-USD 用于显示剩余余额。
迁移现有应用
如果你的代码已经使用 OpenAI 客户端,通常无需重写。官方 SDK 读取两个环境变量,因此切换可以在代码外部进行:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
然后在代码中指定模型的地方将模型名称设置为 uncensored。在上线之前,有三件事值得检查:
- 你依赖的功能。 聊天、流式输出、工具和 JSON 模式均可用。对嵌入、图像或音频接口的调用将不可用,因为这是一个纯文本服务。
- 提示词长度。 总 token 数超过 100,000 的内容必须先截断或总结。
- 并发。 如果你的应用能同时触发超过 8 个请求,请在客户端前放置队列或信号量,以免在峰值时触发 429 错误。
将密钥保留在服务器上。不要将其包含在浏览器代码或移动应用中,因为任何提取它的人都可以消耗你的余额。将其存储在环境变量或密钥管理器中,如果泄露则轮换密钥。
成本和计费
计费按 token 计算:每 1M 输入 $0.15,每 1M 输出 $0.50。信用额度为预付且永不过期,没有订阅。失败或被拒绝的请求不收费。
一个快速示例。一个输入 2,000 个 token、输出 500 个 token 的请求成本为 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。即每 $1可发起 1,818 次此类请求。充值金额为 $20 到 $500 之间的任意整数金额,支持加密货币(TRC20 上的 USDT、Base 上的 USDC),从 $50 起获得 +5% 奖励,从 $100 起获得 +10% 奖励,从 $200 起获得 +15% 奖励。详见 定价页面。
要在代码中检查余额,请调用 GET /v1/balance 或 OpenAI 风格的 GET /v1/dashboard/billing/credit_grants,或从任何响应中读取 X-Balance-USD。
托管与自托管:快速检查
当你希望快速交付、流量不均匀或不想操作 GPU 时,托管 API 很合适。你放弃了选择模型的自由和微调能力。提示词会发送给提供商,尽管它们不用于训练。
如果你正在将其与运行自己的硬件进行比较,请将上述每 token 成本与你的硬件报价进行比较。关于模型类型的背景信息,请阅读 什么是无审查 AI 模型。内容方面,该模型经过调整,可在合法成人使用中无拒绝地回答问题,只有一个硬性限制:禁止涉及未成年人的性内容。

