簡潔な回答
ほとんどの個人や小規模チームにとって、API はトラフィックが非常に多くかつ一定になるまでの方が安価です。llm のセルフホスティングと API の選択では、決定要因は利用率です。一日中稼働している GPU は、100 万トークンを処理しても 10 トークンでも同じコストがかかります。トークン課金の API は、使用したトークンの分だけ課金されます。
ファインチューニングが必要、データをネットワーク外に出したくない、特定のモデルを実行する必要がある、または安定した大量のトラフィックがありマシンを運用する人がいる場合は自前ホスティングが適切です。午後には稼働させたい、使用量が不均等、または一人ですべてを行う必要がある場合は API が適切です。
この記事の残りの部分では、再現可能な数値を示します。ハードウェアやクラウドの価格は変動するため、具体的な金額は引用していません。あなた自身の見積もりを式に追加してください。
モデルが実際に必要なハードウェア
主な制約は GPU メモリです。重みだけでも約 parameters × bytes per parameter かかります:
| モデルサイズ | 16 ビット (2 バイト) | 8 ビット (1 バイト) | 4 ビット (0.5 バイト) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
これが下限です。さらに、コンテキストの長さや同時リクエスト数に応じて増大するアテンションキャッシュ用メモリ、ランタイムオーバーヘッドも必要です。複数のユーザーに同時に 100,000 トークンのコンテキストを提供すると、重みだけで必要なメモリをはるかに超えるメモリが必要になることがあり、その数値はモデルのアーキテクチャに依存します。小さな量子化モデルは単一のコンシューマー GPU で実行できますが、大きなモデルは複数の GPU またはレンタルノード、およびリクエストをバッチ処理するための vLLM や llama.cpp などの推論サーバーが必要です。
4 ビットへの量子化はメモリを節約できますが、その代わり品質がいくらか低下し、その損失はモデルやタスクによって異なります。自分のプロンプトでテストする必要があります。
ハードウェア見積もりに含まれない作業
ハードウェアが目に見えるコストです。目に見えない部分は運用です:
- セットアップ。 ドライバー、CUDA のバージョン、推論サーバー、OpenAI 互換レイヤー、認証、リバースプロキシ。最初の動作確認セットアップには通常 1 日以上かかり、本番環境ではさらに時間がかかります。
- チューニング。 バッチサイズ、コンテキスト制限、メモリ設定、サンプリングのデフォルト値は、2 人のユーザーか 20 人のユーザーを提供できるかを決定します。
- 更新情報。 新しいモデルバージョン、セキュリティパッチ、推論サーバーのリリースは定期的に提供され、時には問題を発生させることもあります。
- モニタリング。 GPU が夜間にメモリ不足になったことに誰かが気づく必要があります。
- アイドル時間。 使用していないマシンでも電力やレンタル料がかかります。
自分の時間の時価を設定し、月間の保守に約 4〜8 時間を追加してください。この数字は、小規模なデプロイメントでは電気代よりも大きくなることがよくあります。
同じ使用量での API のコスト
この API は前払いクレジットから、入力トークン 1M あたり $0.15、出力トークン 1M あたり $0.50 を課金します。クレジットは期限切れになりません。サブスクリプションはなく、失敗または拒否されたリクエストには課金されません。計算例を月ごとに示します:
| 月間トークン(入力 / 出力) | 入力コスト | 出力コスト | 合計 |
|---|---|---|---|
| 20M / 5M | $3.00 | $2.50 | $5.50 |
| 100M / 20M | $15.00 | $10.00 | $25.00 |
| 1,000M / 200M | $150.00 | $100.00 | $250.00 |
入力対出力の比率が 5:1 の場合、6M トークンのコストは 5 × $0.15 + 1 × $0.50 = $1.25、またはブレンドされたトークン百万個あたり約 $0.21 になります。あなたの比率は異なるため、自分の平均値で再計算してください。チャージ額とボーナスについては 料金ページ を参照してください。
損益分岐点を見つける
自前ホスティングに毎月支払う合計金額を合計します:ハードウェアコストを使用する月数で割ったもの、またはレンタル料;電力;および保守時間の価値。合計を F と呼びます。次に:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
月額固定費 $100 は、その比率で API を利用した場合、約 480M トークンに相当します。実際のトラフィックが損益分岐点を大幅に下回っていれば(サイドプロジェクト、内部ツール、小規模プロダクトの多くがこれに該当)、API の方が安価です。大幅に上回っていて一定であれば、マシンを所有する方が有利になる可能性があります。両者の状況は変化するため、現在の数値で比較を確認してください。
自前ホスティングの容量もまた上限であることを忘れないでください。1 台のマシンで同時に処理できるリクエスト数には限りがあります。こちらの完全なキーでは、8 件の同時リクエストと 1 分あたり 300 件のリクエストが許可されており、その背後の容量はあなたの問題ではありません。
ホスト型 API で手放すもの
API はタダのランチではなく、いくつかの制限は明確に述べる価値があります。
- 単一モデル。このサービスは、独立したプロバイダーからの単一のオープンウェイトモデル、モデル ID
uncensoredを実行します。これを交換したり、独自の重みをロードしたりすることはできません。 - テキストのみ:画像、オーディオ、ビデオ、埋め込み、ファインチューニングはありません。
- 10万トークンのコンテキスト、プロンプトと補完の合計。
- プロンプトはネットワークの外部へ送信されます。トレーニングには使用されませんが、ポリシーでオンプレミス処理が必要な場合は、セルフホスティングが解決策となります。
その代わり、標準的なOpenAIインターフェースの背後でストリーミング、ツール呼び出し、JSONモードが利用可能になり、ベースURLを変更するだけで既存コードがそのまま動作します。フレームワークも役立ちます。この種のエンドポイントに接続する方法については、LangChainでオープンソースモデルを使用する方法の当社のノートをご覧ください。
判断するための安価な方法
必要なかどうか確認するためにハードウェアを購入しないでください。まず実際のワークロードをAPIで実行し、月あたりのトークン数を計測してから、ホスティングの見積もりと比較してください。$0.50のワンクリックトライアルはAPIキーページで利用可能で、呼び出しは通常のOpenAIの形式です:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
レスポンスには使用状況オブジェクトと X-Balance-USD ヘッダーが含まれるため、通常の一週間の使用で実際の月間数値が得られます。その数値が損益分岐点に近い場合、判断するためのデータが揃います。セットアップの詳細は ドキュメント にあります。関連するモデルの種類については、無検閲 AI モデルとは何か を参照してください。

