コンテキストウィンドウ超過エラーの意味
文字列 model_context_window_exceeded は、いくつかのクライアント、SDK、API が特定の失敗をラベル付けする方法です:送信したテキストと回答に必要な領域の合計が、モデルが1つのリクエストで保持できる量を超えています。メッセージの表記はツールによって異なるため、名前を当てにするのではなく、クライアントが表示するエラー本文全体を読んでください。原因は常に同じです。
このAPIのコンテキストウィンドウは100,000トークンで、その数はプロンプトと補完を合わせてカバーします。プロンプトが95,000トークンを使用する場合、返信に利用可能な残りは最大で約5,000トークンです。max_tokensを8,000に設定すると、リクエストはウィンドウの制限を超える量を要求します。max_tokensフィールドはオプションであり、指定しない場合、返信は単に残りの領域を使用します。
このように失敗するリクエストは、補完の代わりにエラーを返します。失敗したリクエストには課金されないため、制限に達しても往復の分以外のコストはかかりません。解決策はあなた側にあります:送信する量を減らすか、要求する量を減らしてください。
100,000トークンはどのくらい?
トークンはテキストの断片で、多くの場合短い単語や長い単語の一部です。通常の英語文章では、1トークンあたり約4文字、または単語の約3/4が目安です。このルールでは100,000トークンは約75,000語、厚い小説に相当します。コード、JSON、表、非英語テキストは文字あたりのトークン数が増えるため、同じ文字数でもはるかに大きくなります。目安は計画用であり保証ではありません。
正確なカウントはモデル固有のトークナイザーによります。APIはレスポンスで実際の使用状況を報告します:usageオブジェクトにはプロンプトと補完のトークン数がリストされ、ストリーミングレスポンスでは最後に使用状況が送信されます。これが最も信頼性の高いデータなので、ログに記録してください。
| コンテンツ | 概算サイズ |
|---|---|
| 2文のチャットメッセージ | 40〜60トークン |
| 英語のテキスト1ページ(500語) | 約670トークン |
| 10,000語のドキュメント | 約13,000トークン |
| 3 MBのJSONダンプ | しばしば100,000トークンを超え、生で送信するには大きすぎる |
リクエストボディには8 MBのサイズ制限もあり、これはトークンとは別の制限です。大きな入力はどちらかの制限で失敗する可能性があり、トークン制限はほぼ常に最初に到達する制限です。
チャットアプリが制限に達する理由
APIは呼び出し間でメモリを保持しません。会話を継続するには、コードは毎回メッセージリスト全体を送信します。各ターンでユーザーメッセージと返信が追加されるため、プロンプトは会話のたびに大きくなります。1時間ほど正常に動作していたボットが失敗し始めるのは典型的な兆候です。
エージェントでも同じことが起こります。すべてのツール結果は履歴に追加され、大きなレコードを返す1つの関数が、1つのステップで数千のトークンを追加することがあります。RAGなどの検索構成は3つ目の要因になります:各プロンプトに20のドキュメントチャンクを貼り付ける場合、履歴が存在する前でも、リクエストあたりの基本コストはすでに大きくなります。
修正する前に、3つの要因のどれが増加しているかを確認してください。各呼び出しの後にusageからプロンプトトークン数を出力してください。各ターンでほぼ同じ量だけ増加する場合、それは履歴です。特定のステップの後に急増する場合、それはツール出力または取得されたテキストです。
送信前に履歴を削減する
最も単純で確実な解決策は、見積もりが予算に収まるまで最も古い会話を削除する関数です。システムメッセージは常に保持し、最新のユーザーメッセージも常に保持します。予算には返信のための領域を残すべきなので、プロンプトに80,000トークンほどを使用し、残りを生成領域として確保してください。
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
)
def estimate_tokens(text: str) -> int:
return len(text) // 4 + 4 # rough: 4 characters per token plus overhead
def trim(messages, budget=80_000):
system = [m for m in messages if m["role"] == "system"]
rest = [m for m in messages if m["role"] not in ("system",)]
total = sum(estimate_tokens(m["content"]) for m in system + rest)
while total > budget and len(rest) > 1:
dropped = rest.pop(0) # oldest turn goes first
total -= estimate_tokens(dropped["content"])
return system + rest
history = [{"role": "system", "content": "You are a helpful assistant."}]
def ask(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=trim(history),
max_tokens=2000,
)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
return reply
可能であればユーザーとアシスタントの会話をペアで保持してください;ペアの片側だけ削除すると、モデルが混乱する可能性があります。ツールメッセージも同様です:role: "tool"メッセージは、それを要求したアシスタントの会話と一緒でなければならず、それらを一緒に削除してください。見積もりが概算であるため、予算と実際のウィンドウの間に20パーセントの余裕を持たせるのが快適な安全マージンです。
古いターンの削除よりも良い方法
要約してから継続する
履歴が閾値を超えた場合、最も古い半分をモデルに送信し、数百語で要約するよう指示します。その後、その会話履歴を要約文に置き換えます(システムメッセージまたはユーザーメッセージとして)。詳細は失われますが、会話の続きは維持されます。この処理はリアルタイムの応答パス外で実行し、ユーザーが待機しないようにしてください。
維持すべき事実を固定する
名前、決定、設定などの永続的なメモの小さなブロックを保持し、すべてのリクエストの先頭に再挿入します。これは古いターンがまだ表示されていることを期待するよりも効果的です。
入力データを縮小する
ツール結果を重要なフィールドに切り捨てます。取得するチャンクを減らし、それぞれを関連する段落に切り詰めます。非常に長いドキュメントの場合、それを分割して各パートを処理し、最終的な短い呼び出しで結果を結合します。
max_tokensを意図的に設定する
回答が通常短い場合、max_tokensを製品に合う値に制限します。制限は予算を保護しますが、制限が低すぎると返信が途中で切れるため、まずログで実際の回答の長さを確認してください。
削減はコストも節約する
入力トークンは100万トークンあたり$0.15、出力トークンは100万トークンあたり$0.50で、前払いクレジットから課金されます。チャットは履歴を再送信するため、会話あたりのコストはその長さよりも速く増加します。各ターンで履歴に500トークンが追加されるチャットを考え、会話が100ターン続くとします。
- 削減しない場合、ターンnでは500 x nトークンが送信されます。100ターン合計では500 x 5,050 = 2,525,000入力トークンとなり、コストは2.525 x $0.15 = $0.379です。
- 20,000トークンの制限の場合、最初の40ターンは同じです(500 x 820 = 410,000トークン)。残りの60ターンはそれぞれ20,000トークンを送信し、合計1,200,000トークンになります。合計は1,610,000トークン、または1.61 x $0.15 = $0.242です。
この制限により約3分の1が節約され、チャットが長くなるほど差は広がります。最大100,000トークンのプロンプトはリクエストあたり0.1 x $0.15 = $0.015のコストです。単体では安価ですが、多くのユーザーにサービスを提供するボットでは累積します。価格詳細とチャージボーナスは価格ページに記載されており、クレジットは期限切れになりません。
コードでのエラー処理
削減を行っても、失敗に備えてください。APIエラーをキャッチし、メッセージがコンテキストの長さに関連しているか確認し、リクエストを縮小して1回だけ再試行します。同じリクエストを再試行しないでください。同じ方法で失敗するはずです。
from openai import BadRequestError
def safe_ask(messages, budget=80_000):
try:
return client.chat.completions.create(
model="uncensored", messages=trim(messages, budget)
)
except BadRequestError as err:
if "context" in str(err).lower() and budget > 10_000:
return safe_ask(messages, budget // 2)
raise
クライアントが受信する実際のステータスコードとメッセージを確認し、大きすぎるリクエストのテストを調整してください。上記の文字列一致は起点に過ぎません。レート制限は別です:HTTP 429でrate_limitedまたはconcurrencyが返されるのはトークン数が多すぎるのではなくリクエスト数が多いことを意味し、429でRetry-After: 5が返されるのは一時的な過負荷を意味します。ドキュメントにはリクエストフィールドのリストが、無検閲モデルの解説にはモデルの概要が記載されており、実際の使用量でテストするにはAPIキーを取得できます。
