繁中 ▾

Uncensored Model HubLLM 自託管 vs API:成本、投入與損益平衡點

自託管 LLM 與 API:成本、精力與損益平衡點

自託管 LLM 與 API 的問題主要是算術加上誠實評估你自己的時間。自己運行模型帶來控制權和固定帳單;API 則讓你零設定,帳單隨用量變化。以下是如何計算哪種方式對你的用量更划算。

更新於

天平稱重伺服器機櫃與雲端節點和硬幣,比較自託管與 API
玻璃鏈接將模組化區塊連接到伺服器立方體,說明 LangChain 與開放權重模型 API 的應用

重點摘要

  1. 模型在 4-bit 下每個參數約需 0.5 位元組,在 16-bit 下約需 2 位元組,尚未包含快取與額外開銷,因此 70B 模型大約需要 35 GB 至 140 GB 的 GPU 記憶體。
  2. 每 1M 輸入 token 為 $0.15,每 1M 輸出 token 為 $0.50,每月 100M 輸入加上 20M 輸出 token 的成本為 $25。
  3. 自託管在微調、離線使用和非常高且穩定的用量上勝出;API 在低流量或波動流量上勝出。
  4. 計算你自己的工時:更新、驅動程式和監控都是成本的一部分。

簡短回答

對大多數個人和小團隊而言,API 較便宜,直到流量高且穩定為止。在自託管 LLM 與 API 的決策中,決定性變數是利用率:一台全天候付費的 GPU,無論是一百萬 token 還是十個 token,成本都相同。按 token 計費的 API 僅對實際使用的 token 收費。

當你需要微調、數據不能離開你的網路、必須運行特定模型,或者你有穩定的大量用量且有人操作機器時,自託管有意義。當你想在下午就能運行、使用量不均勻,或一個人負責所有事務時,API 有意義。

本文其餘部分提供可重現的數據。它並未引用硬體或雲端價格,因為這些價格會變動;你需要將自己的報價代入公式中。

模型實際需要的硬體

主要的限制是 GPU 記憶體。權重本身大約需要 parameters × bytes per parameter:

模型大小16-bit(2 個位元組)8-bit(1 個位元組)4-bit(0.5 個位元組)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

這是最低記憶體需求。你還需要記憶體來存放注意力快取,其大小隨上下文長度增長,也隨同時請求的數量增長,再加上執行時開銷。同時為多個使用者服務 100,000 token 的上下文,所需的記憶體遠超權重本身,且具體數字取決於模型的架構。較小的量化模型可在單一消費級 GPU 上運行;大型模型則需要多張 GPU 或租用的節點,並搭配 vLLM 或 llama.cpp 等推理伺服器來批次處理請求。

量化到 4-bit 可節省記憶體,但會以一定的品質損失為代價,且損失因模型和任務而異。你必須在自己的提示詞上測試它。

硬體報價中未包含的工作

硬體是可見的成本。較不可見的部分是營運:

  • 設定。驅動程式、CUDA 版本、推理伺服器、OpenAI 相容層、身份驗證以及反向代理。第一個可運作的設定通常需耗時一天以上;生產環境的設定則需更久。
  • 微調。批次大小、上下文限制、記憶體設定和採樣預設值,決定了你能服務 2 個使用者還是 20 個使用者。
  • 更新。新模型版本、安全補丁和推理伺服器版本定期發布,有時會導致系統出問題。
  • 監控。 必須有人注意到 GPU 在夜間記憶體耗盡的情況。
  • 閒置時間。 閒置的機器仍會產生電力或租金成本。

為你的時間設定每小時價值,並加上每月大約四到八小時的維護時間。對於小型部署,這個數字通常超過電費帳單。

相同用量下 API 的成本

此 API 對每 1M 輸入 token 收取 $0.15,對每 1M 輸出 token 收取 $0.50,費用從預付額度中扣除,該額度永不過期。無訂閱費,失敗或被拒絕的請求不會計費。逐月計算範例如下:

每月 token(輸入 / 輸出)輸入成本輸出成本總計
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

對於輸入與輸出比例為 5:1 的情況,6M token 的成本為 5 × $0.15 + 1 × $0.50 = $1.25,或混合後每百萬 token 約 $0.21。你的比例可能不同,請使用你自己的平均數據重新計算。請參見 定價頁面 以了解儲值金額與贈送額度。

找出你的損益平衡點

計算你每月自託管所需支付的所有費用:硬體成本除以你將使用它的月數,或租賃費;電力;以及你維護工時的價值。將總和稱為 F。然後:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

每月 $100 的固定成本,在該比例下約等於 API 上的 480M token。如果你的實際流量遠低於損益平衡點(這適用於大多數個人專案、內部工具和小型產品),API 更便宜。如果流量遠高於損益平衡點且保持穩定,擁有機器可能佔優。請使用當前數據進行比較,因為兩邊的情況都會變化。

請記住,自託管的容量也是一個上限。一台機器同時能處理的請求數量有限。在此使用完整金鑰,允許 8 個並行請求和每分鐘 300 個請求,其背後的容量限制不是你的問題。

使用託管 API 你會放棄什麼

API 不是免費午餐,某些限制值得明確說明。

  • 單一模型。此服務運行來自獨立供應商的單一開放權重模型,模型 ID 為 uncensored。你無法更換它或載入自己的權重。
  • 僅限文字:無影像、音訊、影片或嵌入,且無微調功能。
  • 100,000 token 的上下文,包含提示詞和完成內容。
  • 你的提示詞會離開你的網路。它們不會用於訓練,但如果政策要求本地端處理,自託管就是解決方案。

作為回報,你可以透過標準 OpenAI 介面獲得串流輸出、函式呼叫和 JSON 模式,因此現有程式碼只需更改 Base URL 即可運作。框架也能提供協助;我們的 使用 LangChain 搭配開源模型 筆記展示了如何將框架指向此類端點。

廉價的決策方式

不要為了確認是否需要而購買硬體。先透過 API 運行你的實際工作負載,測量每月的 token 數量,然後再與託管報價進行比較。在 API 金鑰頁面 上提供 $0.50 的一鍵試用,呼叫方式為標準的 OpenAI 呼叫:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

回應中包含 usage 物件和 X-Balance-USD 標頭,因此一週的正常使用即可提供你實際的每月數據。如果該數據接近損益平衡點,你就有數據可供決策。設定細節請參見 文件。關於涉及模型類型的背景資訊,請參見 什麼是無審查 AI 模型。

問答

自託管 LLM 比 API 更便宜嗎?

僅在高且穩定的用量下。GPU 無論閒置或忙碌成本都相同,而 API 按 token 計費。使用上述公式計算損益平衡點。

我需要多少 GPU 記憶體?

權重每個參數在 16-bit 下約佔 2 位元組,在 4-bit 下約佔 0.5 位元組,因此 70B 模型大約需要 140 GB 或 35 GB,加上上下文緩衝區的記憶體。

我可以在此 API 上進行微調嗎?

不行。它僅提供純文字推論,不支援微調或嵌入。如果你需要自訂權重,自託管是正確的選擇。

API 的成本是多少?

每 1M 輸入 token 費用為 $0.15,每 1M 輸出 token 費用為 $0.50,採預付制,無訂閱費,且失敗的請求不會計費。

你們會使用我的提示詞進行訓練嗎?

不會。提示詞不會用於訓練。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰