託管為你處理的內容
在生產環境中運行語言模型不僅是下載權重。託管 API 承擔以下工作,讓你的程式碼無需處理:
| 由託管方處理 | 仍由你負責 |
|---|---|
| GPU、驅動程式和推理伺服器 | 撰寫和測試你的提示詞 |
| 載入模型並保持其活躍 | 選擇 temperature、max_tokens 和其他設定 |
| 批次處理多個請求 | 針對 429 回應的重試邏輯 |
| 驗證和速率限制 | 保持你的 API 金鑰保密 |
| 計量和預付額度 | 監控你的支出 |
| 服務端的軟體更新 | 在應用程式中處理模型輸出 |
此服務是一個 OpenAI 相容的聊天 API,提供一個開放權重模型,由獨立供應商運行。它不是任何模型廠商的官方 API,也不是跨多個模型的路由器。僅限文字:無圖片、音訊或影片生成,無嵌入和無微調。
你的首次請求
使用 Google 或電子郵件與密碼建立帳戶,然後從 API 金鑰頁面複製金鑰。領取一鍵試用會增加 $0.50 額度,有效期 7 天,無需信用卡。
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
相同的端點還包括 POST /v1/responses 和 GET /v1/models。文件列出了參數。
串流輸出、工具與 JSON 模式
開發人員從聊天 API 使用的功能大部分都可用。
- 串流輸出。 設定
stream: true以接收伺服器發送的事件,token 生成時會回傳;用量會在結尾時回報。聊天介面依賴此功能。 - 函式呼叫。 傳遞
tools和tool_choice,從回覆中讀取tool_calls(它們也會串流輸出),並以role: "tool"作為訊息回傳結果。 - JSON 模式。
response_format: {"type":"json_object"}使模型返回 JSON 物件,適用於提取和分類。 - 採樣控制。 temperature、top_p、stop、seed 和懲罰參數會直接傳遞。
Python 中的串流呼叫如下所示:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
已支援 OpenAI 格式的程式庫(如 LangChain)只需更改 Base URL 即可運作;我們在 LangChain 搭配開源模型頁面展示了範例。
限制及處理方式
託管是共享的,因此有限制。在圍繞 API 建立迴圈之前,請了解這些限制。
- 上下文: 100,000 token,包含提示詞和補全。補全可以使用提示詞未使用的任何內容,且
max_tokens是可選的。 - 並行與速率限制: 完整金鑰允許 8 個並行請求與每分鐘 300 個請求;試用金鑰允許 2 個與 60 個。串流請求會佔用槽位,直到串流結束為止。
- 主體大小: 每個請求 8 MB。
- 429 回應: 每分鐘請求的限制錯誤代碼為
rate_limited,同時請求過多為concurrency,暫時過載時會出現Retry-After: 5標頭。
簡單的等待並重試在大多數應用程式中已經足夠。如果請求因提示詞太長而失敗,上下文視窗超出錯誤頁面涵蓋了摘要或截斷歷史等修復方法。
回應標頭有助於監控:X-Request-Id 用於在支援工單中引用,X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用於你的上限,以及 X-Balance-USD 用於剩餘金額。
遷移現有應用程式
如果你的程式碼已經使用 OpenAI 客戶端,你很少需要重寫它。官方 SDK 讀取兩個環境變數,因此切換可以在程式碼外部進行:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
然後在程式碼指定模型的位置將模型名稱設定為 uncensored。上線前有三件事值得檢查:
- 你依賴的功能。 聊天、串流輸出、工具和 JSON 模式運作正常。對嵌入、圖片或音訊端點的呼叫將無法運作,因為這是一個純文字服務。
- 提示詞長度。 總數超過 100,000 token 的內容必須先截斷或摘要。
- 並行。 如果你的應用程式能同時發送超過 8 個請求,請在客戶端前方加入佇列或二元信號量,以免在高峰時觸發 429 錯誤。
將金鑰保留在伺服器上。不要將其包含在瀏覽器程式碼或行動應用程式中,因為任何提取它的人都可以花費你的餘額。將其儲存在環境變數或金鑰管理器中,如果洩漏則進行輪換。
成本和帳單
計費方式為每 token:輸入每 1M token 為 $0.15,輸出每 1M token 為 $0.50。額度為預付額度且不會過期,無訂閱制。失敗或被拒絕的請求不會收費。
一個快速範例。一次請求輸入 2,000 token、輸出 500 token,費用為 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。每 $1可進行 1,818 次此類請求。儲值金額可為 $20 至 $500 之間的任意整數,支援加密貨幣(TRC20 上的 USDT、Base 上的 USDC),$50 起享 +5% 贈額,$100 起享 +10% 贈額,$200 起享 +15% 贈額。請見定價頁面。
要在程式碼中檢查餘額,請呼叫 GET /v1/balance 或 OpenAI 風格的 GET /v1/dashboard/billing/credit_grants,或從任何回應中讀取 X-Balance-USD。
託管或自行運行:快速檢查
當你希望快速推出產品、擁有不均衡的流量或不想操作 GPU 時,託管 API 很適合。你放棄了選擇模型的權利和微調的能力。提示詞會發送給供應商,但它們不用於訓練。
如果你正在考慮與運行自己的硬體進行比較,請將上述每 token 的數字與你自己的硬體報價進行比較。關於模型類型的背景資訊,請閱讀 什麼是無審查 AI 模型。內容方面,該模型經過調整,可以針對合法成人用途無拒絕地回答,有一個硬性限制:禁止涉及未成年人的性內容。

