JA ▾

Uncensored Model HubLLM 自前ホスティング vs API: コスト、工数、損益分岐点

LLMのセルフホスティングとAPI:費用・工数・損益分岐点

自前ホスティングと API の比較は、主に計算と自分の時間を正直に見積もることに尽きます。モデルを自分で運用すると制御権と固定料金になりますが、API はセットアップゼロで、使用量に応じた請求になります。あなたのボリュームでどちらが有利になるかを確認する方法は以下の通りです。

更新日:

サーバーラックとクラウドノード、コインを比較するバランススケール、自前ホスティングと API の比較
モジュール化されたブロックとサーバーキューを接続するガラスチェーン、オープンウェイトモデルAPIとのLangChainを示すイラスト

主要ポイント

  1. モデルは4ビットでパラメータあたり約0.5バイト、16ビットで2バイト必要とし、キャッシュとオーバーヘッドを除くと、70BモデルにはGPUメモリが約35 GBから140 GB必要です。
  2. 入力が 1M トークンあたり $0.15、出力が 1M トークンあたり $0.50 の場合、月間入力 100M トークンと出力 20M トークンのコストは $25 です。
  3. ファインチューニング、オフライン利用、非常に高い安定したボリュームでは自前ホスティングが有利で、低トラフィックやスパイクのあるトラフィックでは API が有利です。
  4. 自分の時間を数えましょう:アップデート、ドライバー、モニタリングもコストに含まれます。

簡潔な回答

ほとんどの個人や小規模チームにとって、API はトラフィックが非常に多くかつ一定になるまでの方が安価です。llm のセルフホスティングと API の選択では、決定要因は利用率です。一日中稼働している GPU は、100 万トークンを処理しても 10 トークンでも同じコストがかかります。トークン課金の API は、使用したトークンの分だけ課金されます。

ファインチューニングが必要、データをネットワーク外に出したくない、特定のモデルを実行する必要がある、または安定した大量のトラフィックがありマシンを運用する人がいる場合は自前ホスティングが適切です。午後には稼働させたい、使用量が不均等、または一人ですべてを行う必要がある場合は API が適切です。

この記事の残りの部分では、再現可能な数値を示します。ハードウェアやクラウドの価格は変動するため、具体的な金額は引用していません。あなた自身の見積もりを式に追加してください。

モデルが実際に必要なハードウェア

主な制約は GPU メモリです。重みだけでも約 parameters × bytes per parameter かかります:

モデルサイズ16 ビット (2 バイト)8 ビット (1 バイト)4 ビット (0.5 バイト)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

これが下限です。さらに、コンテキストの長さや同時リクエスト数に応じて増大するアテンションキャッシュ用メモリ、ランタイムオーバーヘッドも必要です。複数のユーザーに同時に 100,000 トークンのコンテキストを提供すると、重みだけで必要なメモリをはるかに超えるメモリが必要になることがあり、その数値はモデルのアーキテクチャに依存します。小さな量子化モデルは単一のコンシューマー GPU で実行できますが、大きなモデルは複数の GPU またはレンタルノード、およびリクエストをバッチ処理するための vLLM や llama.cpp などの推論サーバーが必要です。

4 ビットへの量子化はメモリを節約できますが、その代わり品質がいくらか低下し、その損失はモデルやタスクによって異なります。自分のプロンプトでテストする必要があります。

ハードウェア見積もりに含まれない作業

ハードウェアが目に見えるコストです。目に見えない部分は運用です:

  • セットアップ。 ドライバー、CUDA のバージョン、推論サーバー、OpenAI 互換レイヤー、認証、リバースプロキシ。最初の動作確認セットアップには通常 1 日以上かかり、本番環境ではさらに時間がかかります。
  • チューニング。 バッチサイズ、コンテキスト制限、メモリ設定、サンプリングのデフォルト値は、2 人のユーザーか 20 人のユーザーを提供できるかを決定します。
  • 更新情報。 新しいモデルバージョン、セキュリティパッチ、推論サーバーのリリースは定期的に提供され、時には問題を発生させることもあります。
  • モニタリング。 GPU が夜間にメモリ不足になったことに誰かが気づく必要があります。
  • アイドル時間。 使用していないマシンでも電力やレンタル料がかかります。

自分の時間の時価を設定し、月間の保守に約 4〜8 時間を追加してください。この数字は、小規模なデプロイメントでは電気代よりも大きくなることがよくあります。

同じ使用量での API のコスト

この API は前払いクレジットから、入力トークン 1M あたり $0.15、出力トークン 1M あたり $0.50 を課金します。クレジットは期限切れになりません。サブスクリプションはなく、失敗または拒否されたリクエストには課金されません。計算例を月ごとに示します:

月間トークン(入力 / 出力)入力コスト出力コスト合計
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

入力対出力の比率が 5:1 の場合、6M トークンのコストは 5 × $0.15 + 1 × $0.50 = $1.25、またはブレンドされたトークン百万個あたり約 $0.21 になります。あなたの比率は異なるため、自分の平均値で再計算してください。チャージ額とボーナスについては 料金ページ を参照してください。

損益分岐点を見つける

自前ホスティングに毎月支払う合計金額を合計します:ハードウェアコストを使用する月数で割ったもの、またはレンタル料;電力;および保守時間の価値。合計を F と呼びます。次に:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

月額固定費 $100 は、その比率で API を利用した場合、約 480M トークンに相当します。実際のトラフィックが損益分岐点を大幅に下回っていれば(サイドプロジェクト、内部ツール、小規模プロダクトの多くがこれに該当)、API の方が安価です。大幅に上回っていて一定であれば、マシンを所有する方が有利になる可能性があります。両者の状況は変化するため、現在の数値で比較を確認してください。

自前ホスティングの容量もまた上限であることを忘れないでください。1 台のマシンで同時に処理できるリクエスト数には限りがあります。こちらの完全なキーでは、8 件の同時リクエストと 1 分あたり 300 件のリクエストが許可されており、その背後の容量はあなたの問題ではありません。

ホスト型 API で手放すもの

API はタダのランチではなく、いくつかの制限は明確に述べる価値があります。

  • 単一モデル。このサービスは、独立したプロバイダーからの単一のオープンウェイトモデル、モデル ID uncensored を実行します。これを交換したり、独自の重みをロードしたりすることはできません。
  • テキストのみ:画像、オーディオ、ビデオ、埋め込み、ファインチューニングはありません。
  • 10万トークンのコンテキスト、プロンプトと補完の合計。
  • プロンプトはネットワークの外部へ送信されます。トレーニングには使用されませんが、ポリシーでオンプレミス処理が必要な場合は、セルフホスティングが解決策となります。

その代わり、標準的なOpenAIインターフェースの背後でストリーミング、ツール呼び出し、JSONモードが利用可能になり、ベースURLを変更するだけで既存コードがそのまま動作します。フレームワークも役立ちます。この種のエンドポイントに接続する方法については、LangChainでオープンソースモデルを使用する方法の当社のノートをご覧ください。

判断するための安価な方法

必要なかどうか確認するためにハードウェアを購入しないでください。まず実際のワークロードをAPIで実行し、月あたりのトークン数を計測してから、ホスティングの見積もりと比較してください。$0.50のワンクリックトライアルはAPIキーページで利用可能で、呼び出しは通常のOpenAIの形式です:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

レスポンスには使用状況オブジェクトと X-Balance-USD ヘッダーが含まれるため、通常の一週間の使用で実際の月間数値が得られます。その数値が損益分岐点に近い場合、判断するためのデータが揃います。セットアップの詳細は ドキュメント にあります。関連するモデルの種類については、無検閲 AI モデルとは何か を参照してください。

質問と回答

LLM の自前ホスティングは API より安くなりますか?

高かつ一定のボリュームの場合のみ。GPUはアイドル時でも稼働時でもコストは同じですが、APIはトークンごとに課金されます。上記の式で損益分岐点を計算してください。

GPUメモリはどれくらい必要ですか?

重みは16ビットでパラメータあたり約2バイト、4ビットで0.5バイトなので、70Bモデルには約140GBまたは35GBに加え、コンテキストキャッシュ用のメモリが必要です。

このAPIでファインチューニングは可能ですか?

不可能です。ファインチューニングや埋め込みなしのテキスト専用推論です。カスタム重みが必要な場合は、セルフホスティングが適切な方法です。

APIの利用料金は?

入力トークン 1M あたり $0.15、出力トークン 1M あたり $0.50。前払い制、サブスクリプションなし、失敗したリクエストは課金されません。

プロンプトは学習に使用されますか?

いいえ。プロンプトは学習に使用されません。

キーはフォーム1つで入手可能です

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得