簡短回答
對大多數個人和小團隊而言,API 較便宜,直到流量高且穩定為止。在自託管 LLM 與 API 的決策中,決定性變數是利用率:一台全天候付費的 GPU,無論是一百萬 token 還是十個 token,成本都相同。按 token 計費的 API 僅對實際使用的 token 收費。
當你需要微調、數據不能離開你的網路、必須運行特定模型,或者你有穩定的大量用量且有人操作機器時,自託管有意義。當你想在下午就能運行、使用量不均勻,或一個人負責所有事務時,API 有意義。
本文其餘部分提供可重現的數據。它並未引用硬體或雲端價格,因為這些價格會變動;你需要將自己的報價代入公式中。
模型實際需要的硬體
主要的限制是 GPU 記憶體。權重本身大約需要 parameters × bytes per parameter:
| 模型大小 | 16-bit(2 個位元組) | 8-bit(1 個位元組) | 4-bit(0.5 個位元組) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
這是最低記憶體需求。你還需要記憶體來存放注意力快取,其大小隨上下文長度增長,也隨同時請求的數量增長,再加上執行時開銷。同時為多個使用者服務 100,000 token 的上下文,所需的記憶體遠超權重本身,且具體數字取決於模型的架構。較小的量化模型可在單一消費級 GPU 上運行;大型模型則需要多張 GPU 或租用的節點,並搭配 vLLM 或 llama.cpp 等推理伺服器來批次處理請求。
量化到 4-bit 可節省記憶體,但會以一定的品質損失為代價,且損失因模型和任務而異。你必須在自己的提示詞上測試它。
硬體報價中未包含的工作
硬體是可見的成本。較不可見的部分是營運:
- 設定。驅動程式、CUDA 版本、推理伺服器、OpenAI 相容層、身份驗證以及反向代理。第一個可運作的設定通常需耗時一天以上;生產環境的設定則需更久。
- 微調。批次大小、上下文限制、記憶體設定和採樣預設值,決定了你能服務 2 個使用者還是 20 個使用者。
- 更新。新模型版本、安全補丁和推理伺服器版本定期發布,有時會導致系統出問題。
- 監控。 必須有人注意到 GPU 在夜間記憶體耗盡的情況。
- 閒置時間。 閒置的機器仍會產生電力或租金成本。
為你的時間設定每小時價值,並加上每月大約四到八小時的維護時間。對於小型部署,這個數字通常超過電費帳單。
相同用量下 API 的成本
此 API 對每 1M 輸入 token 收取 $0.15,對每 1M 輸出 token 收取 $0.50,費用從預付額度中扣除,該額度永不過期。無訂閱費,失敗或被拒絕的請求不會計費。逐月計算範例如下:
| 每月 token(輸入 / 輸出) | 輸入成本 | 輸出成本 | 總計 |
|---|---|---|---|
| 20M / 5M | $3.00 | $2.50 | $5.50 |
| 100M / 20M | $15.00 | $10.00 | $25.00 |
| 1,000M / 200M | $150.00 | $100.00 | $250.00 |
對於輸入與輸出比例為 5:1 的情況,6M token 的成本為 5 × $0.15 + 1 × $0.50 = $1.25,或混合後每百萬 token 約 $0.21。你的比例可能不同,請使用你自己的平均數據重新計算。請參見 定價頁面 以了解儲值金額與贈送額度。
找出你的損益平衡點
計算你每月自託管所需支付的所有費用:硬體成本除以你將使用它的月數,或租賃費;電力;以及你維護工時的價值。將總和稱為 F。然後:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
每月 $100 的固定成本,在該比例下約等於 API 上的 480M token。如果你的實際流量遠低於損益平衡點(這適用於大多數個人專案、內部工具和小型產品),API 更便宜。如果流量遠高於損益平衡點且保持穩定,擁有機器可能佔優。請使用當前數據進行比較,因為兩邊的情況都會變化。
請記住,自託管的容量也是一個上限。一台機器同時能處理的請求數量有限。在此使用完整金鑰,允許 8 個並行請求和每分鐘 300 個請求,其背後的容量限制不是你的問題。
使用託管 API 你會放棄什麼
API 不是免費午餐,某些限制值得明確說明。
- 單一模型。此服務運行來自獨立供應商的單一開放權重模型,模型 ID 為
uncensored。你無法更換它或載入自己的權重。 - 僅限文字:無影像、音訊、影片或嵌入,且無微調功能。
- 100,000 token 的上下文,包含提示詞和完成內容。
- 你的提示詞會離開你的網路。它們不會用於訓練,但如果政策要求本地端處理,自託管就是解決方案。
作為回報,你可以透過標準 OpenAI 介面獲得串流輸出、函式呼叫和 JSON 模式,因此現有程式碼只需更改 Base URL 即可運作。框架也能提供協助;我們的 使用 LangChain 搭配開源模型 筆記展示了如何將框架指向此類端點。
廉價的決策方式
不要為了確認是否需要而購買硬體。先透過 API 運行你的實際工作負載,測量每月的 token 數量,然後再與託管報價進行比較。在 API 金鑰頁面 上提供 $0.50 的一鍵試用,呼叫方式為標準的 OpenAI 呼叫:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
回應中包含 usage 物件和 X-Balance-USD 標頭,因此一週的正常使用即可提供你實際的每月數據。如果該數據接近損益平衡點,你就有數據可供決策。設定細節請參見 文件。關於涉及模型類型的背景資訊,請參見 什麼是無審查 AI 模型。

