上下文視窗超限的含義
字串 model_context_window_exceeded 是某些用戶端、SDK 和 API 對特定失敗的標記:你發送的文本加上回覆所需的空間,超過了模型在一次請求中能容納的量。不同工具的訊息措辭可能不同,因此請閱讀用戶端顯示的完整錯誤內容,而非僅依賴名稱。原因始終相同。
此 API 的上下文視窗為 100,000 token,該數字涵蓋提示詞與補全內容的總和。如果你的提示詞使用了 95,000 token,最多只剩下約 5,000 token 可用於回覆。如果你還設定了 max_tokens 為 8,000,該請求所需的 token 總數將超過視窗上限。max_tokens 欄位是選填的;若未設定,回覆將僅使用剩餘的空間。
以此方式失敗的請求會回傳錯誤而非補全結果。失敗的請求不會收費,因此觸及限制僅損失往返時間。解決方法在你端:減少發送量,或要求較少的內容。
100,000 個 token 有多大?
token 是一段文字區塊,通常是一個短詞或較長詞彙的一部分。對於一般英文散文,一個粗略的規則是每四個字元約等於一個 token,或約為 3/4 個字。依此規則,100,000 token 約等於 75,000 個字,相當於一本厚重的書。程式碼、JSON、表格和非英文文字會以每字元更多 token 的方式分割,因此相同的字元計數可能對應更大的 token 數量。請將任何經驗法則視為規劃數字,而非保證。
精確計數來自模型自身的 tokenizer。API 會在回應中報告實際用量:usage 物件列出提示詞與補全 token,串流回應會在結尾發送用量。這是最可靠的數據,請將其記錄下來。
| 內容 | 粗略大小 |
|---|---|
| 兩句話的聊天訊息 | 40 到 60 個 token |
| 一頁英文文字,500 個字 | 約 670 個 token |
| 10,000 字的文件 | 約 13,000 個 token |
| 3 MB 的 JSON 轉儲 | 通常超過 100,000 個 token,無法直接發送 |
請求主體也有 8 MB 的大小上限,這是與 token 不同的獨立限制。大型輸入可能因任一限制而失敗,且 token 限制幾乎總是第一個觸及的。
聊天應用程式為何會觸及限制
API 在呼叫之間不保留記憶體。要繼續對話,你的程式碼每次都會傳送完整的訊息列表。每個回合都會新增使用者訊息與回覆,因此提示詞會隨著每次交談而增長。機器人運作一小時後開始失敗是典型跡象。
代理程式也會發生同樣的情況。每個工具結果都會附加到歷史記錄中,一個回傳大型記錄的函式可能在單一步驟中新增數千個 token。檢索設定會引入第三個來源:若每次提示詞都貼上二十個文件區塊,即使尚未存在歷史記錄,每次請求的基礎成本已經很高。
在修復之前,先找出哪一項在增長。在每次呼叫後,從 usage 列印提示詞 token 計數。若每次回合增加的量大致相同,則是歷史記錄問題。若在特定步驟後跳躍,則是工具輸出或檢索文本的問題。
發送前修剪歷史
最簡單可靠的修復方法是建立一個函式,刪除最舊的輪次直到估算值符合預算。始終保留系統訊息,並始終保留最新的使用者訊息。預算應為回覆預留空間,因此提示詞可使用約 80,000 個 token,讓其餘空間作為補全空間。
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
)
def estimate_tokens(text: str) -> int:
return len(text) // 4 + 4 # rough: 4 characters per token plus overhead
def trim(messages, budget=80_000):
system = [m for m in messages if m["role"] == "system"]
rest = [m for m in messages if m["role"] not in ("system",)]
total = sum(estimate_tokens(m["content"]) for m in system + rest)
while total > budget and len(rest) > 1:
dropped = rest.pop(0) # oldest turn goes first
total -= estimate_tokens(dropped["content"])
return system + rest
history = [{"role": "system", "content": "You are a helpful assistant."}]
def ask(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=trim(history),
max_tokens=2000,
)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
return reply
盡可能將使用者與助手輪次保持配對;刪除配對的一半可能會讓模型困惑。工具訊息類似:role: "tool" 訊息必須與請求它的助手輪次一起保留,因此請一起刪除。由於估算值較粗略,預算與實際視窗之間保留 20% 的差距是舒適的安全邊際。
比刪除舊輪次更好的選項
摘要,然後繼續
當歷史超過閾值時,將最舊的一半發送給模型,並指示其在幾百字內進行摘要,然後用摘要取代這些輪次作為系統或使用者訊息。你會失去細節但保留對話脈絡。請在即時回覆路徑外執行此步驟,以免使用者等待。
固定必須保留的事實
保留一小塊長期筆記,例如名稱、決策和設定,並在每次請求的頂部重新插入。這比指望舊輪次仍在視圖中更有效。
縮小輸入內容
截斷工具結果至相關欄位。檢索較少的區塊,並將每個區塊截斷至相關段落。對於非常長的文件,將其分割成部分,處理每個部分,並在最後一次短請求中合併結果。
刻意設定 max_tokens
若回答通常較短,請將max_tokens設為符合產品的值。上限可保護預算,但過低的上限會截斷句子,請先查看日誌中的實際回答長度。
修剪也能節省資金
輸入 token 每 100 萬個 $0.15,輸出 token 每 100 萬個 $0.50,從預付額度計費。由於聊天會重新傳送歷史,每次對話的成本增長速度快於其長度。考慮一個每次交談向歷史新增 500 個 token 的聊天,並進行 100 個回合。
- 若不修剪,第 n 個回合發送 500 x n 個 token。100 個回合的總和為 500 x 5,050 = 2,525,000 個輸入 token,成本為 2.525 x $0.15 = $0.379。
- 在 20,000 token 的上限下,前 40 個回合相同(500 x 820 = 410,000 token)。其餘 60 個回合每個發送 20,000 token,總計 1,200,000。總計為 1,610,000 token,或 1.61 x $0.15 = $0.242。
此上限可節省約三分之一,且隨對話變長差距擴大。極端情況下,100,000 token 提示詞每次請求成本為 0.1 x $0.15 = $0.015。單次雖便宜,但多用戶機器人會累積。詳情見定價頁,額度永不過期。
在程式碼中處理錯誤
即使已修剪,也請規劃失敗。捕獲 API 錯誤,檢查訊息是否指向上下文長度,縮小請求並重試一次。不要重試相同的請求,因為它會以相同方式失敗。
from openai import BadRequestError
def safe_ask(messages, budget=80_000):
try:
return client.chat.completions.create(
model="uncensored", messages=trim(messages, budget)
)
except BadRequestError as err:
if "context" in str(err).lower() and budget > 10_000:
return safe_ask(messages, budget // 2)
raise
檢查你的用戶端在收到過大請求時收到的實際狀態碼和訊息,並調整測試;上述的字串比對僅為起點。速率限制是獨立的:HTTP 429 且 rate_limited 或 concurrency 表示請求過多,而非 token 過多;429 且 Retry-After: 5 表示暫時過載。文件列出請求欄位,無審查模型說明涵蓋模型的定義,你可以 取得金鑰 以實際使用數據測試這些功能。
