繁中 ▾

Uncensored Model HubLLM 託管 API:你得到什麼與跳過什麼

LLM 託管 API:你得到什麼與跳過什麼

LLM 託管 API 意味著其他人擁有 GPU、載入模型並保持伺服器運行,而你發送 HTTP 請求。你按 token 付費並跳過基礎設施。本頁列出為你處理的內容、仍由你負責的內容,以及三種語言的第一個請求。

更新於

玻璃伺服器機塔透過一根發光電纜連接筆記型電腦,代表託管 LLM API
玻璃鏈接將模組化區塊連接到伺服器立方體,說明 LangChain 與開放權重模型 API 的應用

重點摘要

  1. 託管涵蓋 GPU、模型載入、批次處理、擴展和 HTTP 端點;你提供提示詞和金鑰。
  2. 介面與 OpenAI 相容:將 Base URL 變更為 https://api.uncensoredmodelhub.com/v1 並使用模型 uncensored。
  3. 支援串流輸出、函式呼叫和 JSON 模式;沒有圖片、音訊、嵌入或微調端點。
  4. 規劃時的限制:上下文視窗上限為 100,000 token、並行請求 8 個,完整金鑰每分鐘限 300 個請求。

託管為你處理的內容

在生產環境中運行語言模型不僅是下載權重。託管 API 承擔以下工作,讓你的程式碼無需處理:

由託管方處理仍由你負責
GPU、驅動程式和推理伺服器撰寫和測試你的提示詞
載入模型並保持其活躍選擇 temperature、max_tokens 和其他設定
批次處理多個請求針對 429 回應的重試邏輯
驗證和速率限制保持你的 API 金鑰保密
計量和預付額度監控你的支出
服務端的軟體更新在應用程式中處理模型輸出

此服務是一個 OpenAI 相容的聊天 API,提供一個開放權重模型,由獨立供應商運行。它不是任何模型廠商的官方 API,也不是跨多個模型的路由器。僅限文字:無圖片、音訊或影片生成,無嵌入和無微調。

你的首次請求

使用 Google 或電子郵件與密碼建立帳戶,然後從 API 金鑰頁面複製金鑰。領取一鍵試用會增加 $0.50 額度,有效期 7 天,無需信用卡。

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

相同的端點還包括 POST /v1/responses 和 GET /v1/models。文件列出了參數。

串流輸出、工具與 JSON 模式

開發人員從聊天 API 使用的功能大部分都可用。

  • 串流輸出。 設定 stream: true 以接收伺服器發送的事件,token 生成時會回傳;用量會在結尾時回報。聊天介面依賴此功能。
  • 函式呼叫。 傳遞 tools 和 tool_choice,從回覆中讀取 tool_calls(它們也會串流輸出),並以 role: "tool" 作為訊息回傳結果。
  • JSON 模式。 response_format: {"type":"json_object"} 使模型返回 JSON 物件,適用於提取和分類。
  • 採樣控制。 temperature、top_p、stop、seed 和懲罰參數會直接傳遞。

Python 中的串流呼叫如下所示:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

已支援 OpenAI 格式的程式庫(如 LangChain)只需更改 Base URL 即可運作;我們在 LangChain 搭配開源模型頁面展示了範例。

限制及處理方式

託管是共享的,因此有限制。在圍繞 API 建立迴圈之前,請了解這些限制。

  • 上下文: 100,000 token,包含提示詞和補全。補全可以使用提示詞未使用的任何內容,且 max_tokens 是可選的。
  • 並行與速率限制: 完整金鑰允許 8 個並行請求與每分鐘 300 個請求;試用金鑰允許 2 個與 60 個。串流請求會佔用槽位,直到串流結束為止。
  • 主體大小: 每個請求 8 MB。
  • 429 回應: 每分鐘請求的限制錯誤代碼為 rate_limited,同時請求過多為 concurrency,暫時過載時會出現 Retry-After: 5 標頭。

簡單的等待並重試在大多數應用程式中已經足夠。如果請求因提示詞太長而失敗,上下文視窗超出錯誤頁面涵蓋了摘要或截斷歷史等修復方法。

回應標頭有助於監控:X-Request-Id 用於在支援工單中引用,X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 用於你的上限,以及 X-Balance-USD 用於剩餘金額。

遷移現有應用程式

如果你的程式碼已經使用 OpenAI 客戶端,你很少需要重寫它。官方 SDK 讀取兩個環境變數,因此切換可以在程式碼外部進行:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

然後在程式碼指定模型的位置將模型名稱設定為 uncensored。上線前有三件事值得檢查:

  • 你依賴的功能。 聊天、串流輸出、工具和 JSON 模式運作正常。對嵌入、圖片或音訊端點的呼叫將無法運作,因為這是一個純文字服務。
  • 提示詞長度。 總數超過 100,000 token 的內容必須先截斷或摘要。
  • 並行。 如果你的應用程式能同時發送超過 8 個請求,請在客戶端前方加入佇列或二元信號量,以免在高峰時觸發 429 錯誤。

將金鑰保留在伺服器上。不要將其包含在瀏覽器程式碼或行動應用程式中,因為任何提取它的人都可以花費你的餘額。將其儲存在環境變數或金鑰管理器中,如果洩漏則進行輪換。

成本和帳單

計費方式為每 token:輸入每 1M token 為 $0.15,輸出每 1M token 為 $0.50。額度為預付額度且不會過期,無訂閱制。失敗或被拒絕的請求不會收費。

一個快速範例。一次請求輸入 2,000 token、輸出 500 token,費用為 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055。每 $1可進行 1,818 次此類請求。儲值金額可為 $20 至 $500 之間的任意整數,支援加密貨幣(TRC20 上的 USDT、Base 上的 USDC),$50 起享 +5% 贈額,$100 起享 +10% 贈額,$200 起享 +15% 贈額。請見定價頁面。

要在程式碼中檢查餘額,請呼叫 GET /v1/balance 或 OpenAI 風格的 GET /v1/dashboard/billing/credit_grants,或從任何回應中讀取 X-Balance-USD。

託管或自行運行:快速檢查

當你希望快速推出產品、擁有不均衡的流量或不想操作 GPU 時,託管 API 很適合。你放棄了選擇模型的權利和微調的能力。提示詞會發送給供應商,但它們不用於訓練。

如果你正在考慮與運行自己的硬體進行比較,請將上述每 token 的數字與你自己的硬體報價進行比較。關於模型類型的背景資訊,請閱讀 什麼是無審查 AI 模型。內容方面,該模型經過調整,可以針對合法成人用途無拒絕地回答,有一個硬性限制:禁止涉及未成年人的性內容。

問答

什麼是 LLM 託管 API?

一項在自有 GPU 上運行語言模型,並透過 HTTP 提供服務的服務。你發送提示詞並按 token 付費,無需管理伺服器。

是否相容 OpenAI SDK?

是的。將 Base URL 設為 https://api.uncensoredmodelhub.com/v1,使用你的 API 金鑰與模型 ID uncensored。

速率限制為何?

完整金鑰允許 8 個並行請求和每分鐘 300 個。試用金鑰允許 2 個和每分鐘 60 個。超過限制時會收到 HTTP 429。

我可以微調模型或生成圖片嗎?

不行。這是一個純文字 API,不提供微調、嵌入或圖片、音訊、影片生成功能。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰