繁中 ▾

Uncensored Model Hub上下文視窗超限:原因與解決

上下文視窗超限:原因與解決

上下文視窗錯誤表示你的提示詞加上要求回覆的 token 總和已超出模型的記憶體。本文說明此 API 的限制(100,000 token)、如何測量提示詞,以及在失敗前截斷歷史記錄的程式碼。

更新於

裝滿發光方塊的玻璃容器,溢出部分被修剪,象徵上下文視窗已滿

重點摘要

  1. 視窗為 100,000 個 token,提示詞與補全合計計算。
  2. 聊天應用程式會觸發此限制,因為它們在每個回合都會重新傳送完整的歷史記錄。
  3. 發送前計算或估算 token,並為回覆預留空間。
  4. 修剪舊的對話輪次也能降低成本,因為輸入按每 100 萬 token $0.15 計費。

上下文視窗超限的含義

字串 model_context_window_exceeded 是某些用戶端、SDK 和 API 對特定失敗的標記:你發送的文本加上回覆所需的空間,超過了模型在一次請求中能容納的量。不同工具的訊息措辭可能不同,因此請閱讀用戶端顯示的完整錯誤內容,而非僅依賴名稱。原因始終相同。

此 API 的上下文視窗為 100,000 token,該數字涵蓋提示詞與補全內容的總和。如果你的提示詞使用了 95,000 token,最多只剩下約 5,000 token 可用於回覆。如果你還設定了 max_tokens 為 8,000,該請求所需的 token 總數將超過視窗上限。max_tokens 欄位是選填的;若未設定,回覆將僅使用剩餘的空間。

以此方式失敗的請求會回傳錯誤而非補全結果。失敗的請求不會收費,因此觸及限制僅損失往返時間。解決方法在你端:減少發送量,或要求較少的內容。

100,000 個 token 有多大?

token 是一段文字區塊,通常是一個短詞或較長詞彙的一部分。對於一般英文散文,一個粗略的規則是每四個字元約等於一個 token,或約為 3/4 個字。依此規則,100,000 token 約等於 75,000 個字,相當於一本厚重的書。程式碼、JSON、表格和非英文文字會以每字元更多 token 的方式分割,因此相同的字元計數可能對應更大的 token 數量。請將任何經驗法則視為規劃數字,而非保證。

精確計數來自模型自身的 tokenizer。API 會在回應中報告實際用量:usage 物件列出提示詞與補全 token,串流回應會在結尾發送用量。這是最可靠的數據,請將其記錄下來。

內容粗略大小
兩句話的聊天訊息40 到 60 個 token
一頁英文文字,500 個字約 670 個 token
10,000 字的文件約 13,000 個 token
3 MB 的 JSON 轉儲通常超過 100,000 個 token,無法直接發送

請求主體也有 8 MB 的大小上限,這是與 token 不同的獨立限制。大型輸入可能因任一限制而失敗,且 token 限制幾乎總是第一個觸及的。

聊天應用程式為何會觸及限制

API 在呼叫之間不保留記憶體。要繼續對話,你的程式碼每次都會傳送完整的訊息列表。每個回合都會新增使用者訊息與回覆,因此提示詞會隨著每次交談而增長。機器人運作一小時後開始失敗是典型跡象。

代理程式也會發生同樣的情況。每個工具結果都會附加到歷史記錄中,一個回傳大型記錄的函式可能在單一步驟中新增數千個 token。檢索設定會引入第三個來源:若每次提示詞都貼上二十個文件區塊,即使尚未存在歷史記錄,每次請求的基礎成本已經很高。

在修復之前,先找出哪一項在增長。在每次呼叫後,從 usage 列印提示詞 token 計數。若每次回合增加的量大致相同,則是歷史記錄問題。若在特定步驟後跳躍,則是工具輸出或檢索文本的問題。

發送前修剪歷史

最簡單可靠的修復方法是建立一個函式,刪除最舊的輪次直到估算值符合預算。始終保留系統訊息,並始終保留最新的使用者訊息。預算應為回覆預留空間,因此提示詞可使用約 80,000 個 token,讓其餘空間作為補全空間。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

盡可能將使用者與助手輪次保持配對;刪除配對的一半可能會讓模型困惑。工具訊息類似:role: "tool" 訊息必須與請求它的助手輪次一起保留,因此請一起刪除。由於估算值較粗略,預算與實際視窗之間保留 20% 的差距是舒適的安全邊際。

比刪除舊輪次更好的選項

摘要,然後繼續

當歷史超過閾值時,將最舊的一半發送給模型,並指示其在幾百字內進行摘要,然後用摘要取代這些輪次作為系統或使用者訊息。你會失去細節但保留對話脈絡。請在即時回覆路徑外執行此步驟,以免使用者等待。

固定必須保留的事實

保留一小塊長期筆記,例如名稱、決策和設定,並在每次請求的頂部重新插入。這比指望舊輪次仍在視圖中更有效。

縮小輸入內容

截斷工具結果至相關欄位。檢索較少的區塊,並將每個區塊截斷至相關段落。對於非常長的文件,將其分割成部分,處理每個部分,並在最後一次短請求中合併結果。

刻意設定 max_tokens

若回答通常較短,請將max_tokens設為符合產品的值。上限可保護預算,但過低的上限會截斷句子,請先查看日誌中的實際回答長度。

修剪也能節省資金

輸入 token 每 100 萬個 $0.15,輸出 token 每 100 萬個 $0.50,從預付額度計費。由於聊天會重新傳送歷史,每次對話的成本增長速度快於其長度。考慮一個每次交談向歷史新增 500 個 token 的聊天,並進行 100 個回合。

  • 若不修剪,第 n 個回合發送 500 x n 個 token。100 個回合的總和為 500 x 5,050 = 2,525,000 個輸入 token,成本為 2.525 x $0.15 = $0.379。
  • 在 20,000 token 的上限下,前 40 個回合相同(500 x 820 = 410,000 token)。其餘 60 個回合每個發送 20,000 token,總計 1,200,000。總計為 1,610,000 token,或 1.61 x $0.15 = $0.242。

此上限可節省約三分之一,且隨對話變長差距擴大。極端情況下,100,000 token 提示詞每次請求成本為 0.1 x $0.15 = $0.015。單次雖便宜,但多用戶機器人會累積。詳情見定價頁,額度永不過期。

在程式碼中處理錯誤

即使已修剪,也請規劃失敗。捕獲 API 錯誤,檢查訊息是否指向上下文長度,縮小請求並重試一次。不要重試相同的請求,因為它會以相同方式失敗。

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

檢查你的用戶端在收到過大請求時收到的實際狀態碼和訊息,並調整測試;上述的字串比對僅為起點。速率限制是獨立的:HTTP 429 且 rate_limited 或 concurrency 表示請求過多,而非 token 過多;429 且 Retry-After: 5 表示暫時過載。文件列出請求欄位,無審查模型說明涵蓋模型的定義,你可以 取得金鑰 以實際使用數據測試這些功能。

問答

單一請求可以傳送多少 token?

上下文視窗為 100,000 token,由你的提示詞與補全內容共用。提示詞佔用的部分將不再可用於回覆。

當請求超出視窗時會收費嗎?

不會。失敗的請求不會收費。你僅就完成請求的 token 付費。

我必須設定 max_tokens 嗎?

不需要,這是可選參數。若未設定,補全內容可使用視窗中剩餘的空間。若希望限制回覆長度與費用,請設定此參數。

如何精確計算 token?

請查看每個回應中的 usage 物件,它會回報實際的提示詞與補全 token 數量。若要在傳送前估算,英文可採用每四個字元等於一個 token 的規則。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰