中文 ▾

Uncensored Model Hub上下文窗口超限:原因与修复

上下文窗口超限:原因与修复

上下文窗口错误意味着你的提示词加上请求的回复不再适合模型的内存。本文解释了该接口的限制(100,000 token),如何测量你的提示词,以及在失败前修剪历史的代码。

更新于

装满发光方块且溢出被截断的玻璃容器,代表已满的上下文窗口

要点

  1. 上下文窗口为 100,000 个 token,提示词和回复共同计算在内。
  2. 聊天应用会在每轮对话中重新发送完整历史,从而触发此错误。
  3. 发送前计算或估算 token,并为回复预留空间。
  4. 截断旧对话轮次还能降低成本,因为输入按每 100 万 token $0.15 计费。

上下文窗口超限的含义

字符串 model_context_window_exceeded 是某些客户端、SDK 和 API 对特定故障的标签:你发送的文本加上回答所需的空间大于模型在一次请求中能容纳的量。不同工具的消息措辞可能不同,因此请阅读客户端显示的错误详情,而不要仅依赖名称。根本原因始终相同。

在此 API 中,上下文窗口为 100,000 个 token,该数字涵盖提示词和回复的总和。如果你的提示词使用了 95,000 个 token,则最多仅剩约 5,000 个 token 用于回复。如果你还将 max_tokens 设置为 8,000,请求将超出窗口允许的范围。max_tokens 字段是可选的,如果省略它,回复将仅使用剩余的空间。

以此方式失败的请求将返回错误而非回复。失败的请求不收费,因此达到限制仅消耗往返时间,不会产生额外费用。解决方法在你这边:发送更少的内容,或请求更少的回复。

100,000 个 token 有多大?

token 是文本块,通常是一个短词或长词的一部分。对于普通英文散文,粗略规则是每 4 个字符约 1 个 token,或约 0.75 个单词。按此规则,100,000 个 token 约为 75,000 个单词,相当于一本厚小说。代码、JSON、表格和非英文文本按字符拆分的 token 更多,因此相同字符数可能对应更多 token。将任何经验法则视为规划数字,而非保证。

精确计数来自模型自身的 tokenizer。API 在响应中报告实际使用情况:usage 对象列出提示词和回复 token,流式响应在末尾发送使用情况。这是最可靠的数据,请将其记录。

内容粗略大小
两条句子的聊天消息40 到 60 个 token
一页英文文本,500 个单词约 670 个 token
10,000 词的文件约 13,000 个 token
3 MB 的 JSON 转储通常超过 100,000 个 token,太大无法直接发送

请求体还有 8 MB 的大小上限,这是一个与 token 不同的限制。大输入可能因任一限制而失败,且 token 限制几乎总是首先触发的。

聊天应用为何会遇到限制

API 在调用之间不保留记忆。为了继续对话,你的代码每次都会发送完整消息列表。每轮对话都会增加用户消息和回复,因此提示词会随着每次交互而增长。机器人运行一小时后开始失败是典型迹象。

代理(Agents)也会发生同样的情况。每个工具结果都会追加到历史中,一个返回大型记录的工具可能在单步中添加数千个 token。检索设置增加了第三个来源:如果你在每个提示词中粘贴二十个文档块,即使没有历史记录,单次请求的基础成本也已经很大。

在修复之前,先确定哪一部分在增长。在每次调用后打印 usage 中的提示词 token 计数。如果每轮增长量大致相同,则是历史记录。如果在特定步骤后激增,则是工具输出或检索到的文本。

发送前截断历史记录

最简单可靠的修复方法是编写一个函数,删除最旧的轮次直到估算值符合预算。始终保留系统消息,并始终保留最新用户消息。预算应留出回复空间,因此提示词可使用约 80,000 个 token,其余空间留给回复。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

尽可能保持用户和助手轮次的配对;删除配对的一半可能导致模型困惑。工具消息类似:role: "tool" 消息必须与其请求的助手轮次一起保留,因此应一起删除。由于估算不精确,在预算和实际窗口之间保留 20% 的差距是一个舒适的缓冲。

比删除旧轮次更好的选项

摘要,然后继续

当历史记录超过阈值时,将最旧的一半发送给模型,指令将其摘要为几百字,然后用摘要替换这些轮次作为系统或用户消息。虽然会丢失细节,但能保留对话脉络。将此步骤放在实时回复路径之外执行,以免用户等待。

固定必须保留的事实

保留一小块持久笔记,如名称、决策和设置,并在每次请求的顶部重新插入。这比希望旧轮次仍在视野中更有效。

缩小输入内容

截断工具结果至相关字段。检索更少的块,并将每个块截断至相关段落。对于非常长的文档,将其拆分为部分,处理每个部分,并在最后的短请求中合并结果。

有意设置 max_tokens

如果答案通常较短,将 max_tokens 限制为适合你产品的值。限制可以保护预算,但限制过低会导致回复被截断,因此请先查看日志中的实际回复长度。

截断还能节省资金

输入 token 成本为每 100 万 $0.15,输出 token 为每 100 万 $0.50,从预付额度中扣除。由于聊天应用重发历史记录,每次对话的成本增长速度超过其长度。考虑一个每次交互向历史记录添加 500 个 token 的聊天,共运行 100 轮。

  • 不截断时,第 n 轮发送 500 x n 个 token。100 轮的总和为 500 x 5,050 = 2,525,000 个输入 token,成本为 2.525 x $0.15 = $0.379。
  • 使用 20,000 token 上限时,前 40 轮相同(500 x 820 = 410,000 个 token)。剩余 60 轮每轮发送 20,000 个,共 1,200,000 个。总计 1,610,000 个 token,即 1.61 x $0.15 = $0.242。

上限在此处节省了约三分之一,随着对话变长,差距会进一步拉大。在最极端的情况下,完整的 100,000-token 提示词每次请求成本为 0.1 x $0.15 = $0.015。这本身很便宜,但在服务大量用户的机器人中会累积。定价详情和充值优惠在定价页面,且额度永不过期。

在代码中处理错误

即使进行了截断,也要计划处理失败。捕获 API 错误,检查消息是否指向上下文长度,缩小请求,并重试一次。不要重试相同的请求,因为它会以相同方式失败。

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

检查客户端收到的实际状态码和消息以调整测试;上述字符串匹配只是一个起点。速率限制是独立的:HTTP 429 带有 rate_limited 或 concurrency 表示请求过多,而非 token 过多;429 带有 Retry-After: 5 表示临时过载。文档列出了请求字段,无审查模型说明介绍了模型,你可以 获取密钥 以使用真实使用数据进行测试。

问答

单次请求最多可以发送多少 token?

上下文窗口为 100,000 token,由提示词和补全内容共享。提示词占用的部分将不再可用于回复。

请求超出窗口时我会被收费吗?

不会。失败的请求不收费。你仅对完成的请求按 token 付费。

我必须设置 max_tokens 吗?

不需要,这是可选的。如果不设置,补全内容可以使用窗口中剩余的空间。如果你希望限制回复长度和成本,请设置该参数。

如何精确计算 token 数量?

查看每个响应中的 usage 对象,它会报告实际的提示词和补全 token 数量。在发送前进行估算时,英文文本可按每 4 个字符对应 1 个 token 来估算。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥