DE ▾

Uncensored Model Hubmodel_context_window_exceeded: Ursachen und Lösungen

model_context_window_exceeded: Ursachen und Lösungen

Ein Fehler wegen des Kontextfensters bedeutet, dass dein Prompt plus die angeforderte Antwort nicht mehr in den Speicher des Modells passen. Dieser Artikel erklärt die Grenze dieser API (100.000 Token), wie du deine Prompts messen kannst und Code, der den Verlauf kürzt, bevor es zu einem Fehler kommt.

Aktualisiert

Glasgefäß gefüllt mit leuchtenden Blöcken, der Überlauf gekürzt, repräsentiert ein volles Kontextfenster

Wichtige Punkte

  1. Das Fenster umfasst 100.000 Token und zählt Prompt und Vervollständigung zusammen.
  2. Chat-Apps stoßen darauf, weil sie bei jedem Schritt den gesamten Verlauf erneut senden.
  3. Zähle oder schätze Token vor dem Senden und halte Platz für die Antwort frei.
  4. Das Entfernen alter Nachrichten senkt auch die Kosten, da Input mit $0,15 pro 1 Mio. Token abgerechnet wird.

Was model_context_window_exceeded bedeutet

Die Zeichenkette model_context_window_exceeded ist die Bezeichnung, die einige Clients, SDKs und APIs für einen bestimmten Fehler verwenden: Der von dir gesendete Text plus der für eine Antwort benötigte Platz ist größer als das, was das Modell in einer Anfrage speichern kann. Die Wortwahl der Meldung variiert zwischen den Tools, lies also den vollständigen Fehlertext, den dein Client anzeigt, statt dich auf einen Namen zu verlassen. Die Ursache ist immer dieselbe.

Bei dieser API beträgt das Kontextfenster 100.000 Token, und diese Zahl umfasst Prompt und Vervollständigung zusammen. Wenn dein Prompt 95.000 Token verbraucht, stehen für die Antwort höchstens noch etwa 5.000 zur Verfügung. Wenn du außerdem max_tokens auf 8.000 setzt, fordert die Anfrage mehr an, als das Fenster zulässt. Das Feld max_tokens ist optional; wenn du es weglässt, nutzt die Antwort einfach den verbleibenden Platz.

Eine Anfrage, die so fehlschlägt, gibt einen Fehler statt einer Antwort zurück. Fehlgeschlagene Anfragen werden nicht berechnet, daher kostet dich das Erreichen des Limits nichts außer den Roundtrip. Die Lösung liegt bei dir: Sende weniger oder fordere weniger an.

Wie groß sind 100.000 Token?

Ein Token ist ein Textabschnitt, oft ein kurzes Wort oder ein Teil eines längeren. Für gewöhnlichen englischen Text gilt eine grobe Regel: ein Token pro vier Zeichen oder etwa drei Viertel eines Wortes. Danach entsprechen 100.000 Token etwa 75.000 Wörtern, was einem dicken Roman entspricht. Code, JSON, Tabellen und Nicht-Englisch-Texte werden in mehr Token pro Zeichen aufgeteilt, sodass dieselbe Zeichenzahl viel größer ausfallen kann. Betrachte jede Faustregel als Planungsgröße, nicht als Garantie.

Die genaue Zählung stammt vom eigenen Tokenizer des Modells. Die API meldet die tatsächliche Nutzung in der Antwort: Das usage-Objekt listet Prompt- und Vervollständigungs-Token auf, und eine gestreamte Antwort sendet die Nutzung am Ende. Das sind die zuverlässigsten Daten, die du hast, also protokolliere sie.

InhalteGrobe Größe
Eine Chat-Nachricht mit zwei Sätzen40 bis 60 Token
Eine Seite englischer Text, 500 Wörteretwa 670 Token
Ein Dokument mit 10.000 Wörternetwa 13.000 Token
Ein 3 MB großer JSON-Dumpoft über 100.000 Token, zu groß zum direkten Senden

Der Request-Body hat ebenfalls eine Größengrenze von 8 MB, die eine separate Grenze zu den Token darstellt. Große Inputs können an einer der beiden Grenzen fehlschlagen, und das Token-Limit ist fast immer das erste, das du erreichst.

Warum Chat-Apps an die Grenze stoßen

Die API speichert keinen Zustand zwischen Aufrufen. Um ein Gespräch fortzusetzen, sendet dein Code bei jedem Aufruf die gesamte Nachrichtenliste. Jeder Turn fügt die Benutzer-Nachricht und die Antwort hinzu, sodass der Prompt mit jeder Interaktion wächst. Ein Bot, der eine Stunde lang einwandfrei funktioniert, dann aber zu versagen beginnt, ist das klassische Zeichen.

Dasselbe passiert bei Agents. Jedes Tool-Ergebnis wird an den Verlauf angehängt, und eine Funktion, die einen großen Datensatz zurückgibt, kann in einem einzigen Schritt Tausende von Token hinzufügen. Retrieval-Einrichtungen fügen eine dritte Quelle hinzu: Wenn du zwanzig Dokumentabschnitte in jeden Prompt einfügst, sind die Grundkosten pro Anfrage bereits hoch, bevor überhaupt ein Verlauf existiert.

Bevor du etwas änderst, finde heraus, welche der drei Komponenten wächst. Gib die Token-Anzahl des Prompts aus usage nach jedem Aufruf aus. Wenn sie bei jedem Turn um etwa denselben Betrag steigt, handelt es sich um den Verlauf. Wenn sie nach bestimmten Schritten springt, handelt es sich um Tool-Ausgaben oder abgerufene Texte.

Kürze den Verlauf, bevor du ihn sendest

Die einfachste zuverlässige Lösung ist eine Funktion, die die ältesten Nachrichten entfernt, bis die Schätzung in ein Budget passt. Behalte die Systemnachricht immer und die letzte Benutzer-Nachricht immer. Das Budget sollte Platz für die Antwort lassen, also verwende zum Beispiel 80.000 Token für den Prompt und überlasse den Rest dem Platz für die Antwort.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

Behalte Benutzer- und Assistenten-Turns in Paaren, wenn möglich; das Entfernen einer Hälfte eines Paares kann das Modell verwirren. Tool-Nachrichten sind ähnlich: Eine role: "tool"-Nachricht muss mit dem Assistenten-Turn, der sie angefordert hat, zusammen entfernt werden, also entferne beide gemeinsam. Da die Schätzung grob ist, ist eine Pufferzone von 20 Prozent zwischen deinem Budget und dem tatsächlichen Kontextfenster eine komfortable Sicherheitsmarge.

Bessere Optionen als alte Schritte zu löschen

Zusammenfassen, dann fortfahren

Wenn der Verlauf einen Schwellenwert überschreitet, sende die älteste Hälfte an das Modell mit der Anweisung, sie in einigen hundert Worten zusammenzufassen, und ersetze diese Nachrichten dann durch die Zusammenfassung als System- oder Benutzer-Nachricht. Du verlierst Details, behältst aber den Faden. Führe diesen Schritt außerhalb des Live-Antwort-Pfads aus, damit der Benutzer nicht darauf warten muss.

Sichere Fakten, die überleben müssen

Behalte einen kleinen Block dauerhafter Notizen, wie Namen, Entscheidungen und Einstellungen, und füge ihn bei jeder Anfrage oben wieder ein. Das funktioniert besser, als darauf zu hoffen, dass ein alter Schritt noch sichtbar ist.

Verkleinere, was du eingibst

Kürze Tool-Ergebnisse auf die relevanten Felder. Rufe weniger Abschnitte ab und kürze jeden auf die relevanten Absätze. Bei einem sehr langen Dokument teile es in Teile auf, verarbeite jeden Teil und kombiniere die Ergebnisse in einem abschließenden kurzen Aufruf.

Setze max_tokens bewusst

Wenn Antworten normalerweise kurz sind, begrenze max_tokens auf einen Wert, der zu deinem Produkt passt. Eine Begrenzung schützt das Budget, aber eine zu niedrige Begrenzung schneidet Antworten mitten im Satz ab, also sieh dir zuerst die tatsächlichen Antwortlängen in den Protokollen an.

Kürzen spart auch Geld

Eingabe-Token kosten 0,15 $ pro 1 Mio., Ausgabe-Token 0,50 $ pro 1 Mio., abgerechnet vom Prepaid-Guthaben. Da Chats den Verlauf erneut senden, steigen die Kosten pro Konversation schneller als ihre Länge. Nimm einen Chat, bei dem jeder Schritt 500 Token zum Verlauf hinzufügt und die Konversation 100 Schritte umfasst.

  • Ohne Kürzung sendet Schritt n 500 x n Token. Die Summe über 100 Schritte beträgt 500 x 5.050 = 2.525.000 Eingabe-Token, was 2,525 x 0,15 $ = 0,379 $ kostet.
  • Bei einem Limit von 20.000 Token sind die ersten 40 Turns gleich (500 x 820 = 410.000 Token). Die verbleibenden 60 Turns senden jeweils 20.000, was 1.200.000 ergibt. Die Gesamtsumme beträgt 1.610.000 Token, oder 1,61 x 0,15 $ = 0,242 $.

Das Limit spart hier etwa ein Drittel, und die Lücke vergrößert sich, je länger die Chats werden. Im Extremfall kostet ein voller Prompt mit 100.000 Token 0,1 x $0,15 = $0,015 pro Anfrage. Das ist für sich genommen günstig, summiert sich aber in einem Bot, der viele Benutzer bedient. Details zur Preisgestaltung und Auflade-Boni findest du auf der Preisseite, und Guthaben verfällt nie.

Behandlung des Fehlers im Code

Plane auch bei Kürzung mit einem Fehler. Fange den API-Fehler ab, prüfe, ob die Meldung auf die Kontextlänge hinweist, verkleinere die Anfrage und versuche es einmal erneut. Wiederhole nicht dieselbe Anfrage, da sie auf dieselbe Weise fehlschlagen wird.

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

Prüfe den tatsächlichen Statuscode und die Meldung, die dein Client für eine überdimensionierte Anfrage erhält, und passe den Test an; die Zeichenkettenübereinstimmung oben ist ein Ausgangspunkt. Ratenlimits sind separat: HTTP 429 mit rate_limited oder concurrency bedeutet zu viele Anfragen, nicht zu viele Token, und 429 mit Retry-After: 5 bedeutet eine temporäre Überlastung. Die Dokumentation listet die Anfragefelder auf, die Erklärung zu unzensierten Modellen behandelt, was das Modell ist, und du kannst einen Schlüssel erhalten, um dies mit echten Nutzungsdaten zu testen.

Fragen und Antworten

Wie viele Token kann ich in einer Anfrage senden?

Das Fenster umfasst 100.000 Token, die sich zwischen deinem Prompt und der Vervollständigung teilen. Was der Prompt verbraucht, steht für die Antwort nicht mehr zur Verfügung.

Werde ich berechnet, wenn eine Anfrage das Kontextfenster überschreitet?

Nein. Fehlgeschlagene Anfragen werden nicht berechnet. Du zahlst nur für Token in Anfragen, die erfolgreich abgeschlossen werden.

Muss ich max_tokens setzen?

Nein, es ist optional. Ohne diese Einstellung kann die Antwort den verbleibenden Platz im Fenster nutzen. Setze es, wenn du eine harte Grenze für die Antwortlänge und die Kosten festlegen möchtest.

Wie zähle ich Token genau?

Lies das usage-Objekt in jeder Antwort, das die tatsächlichen Prompt- und Antwort-Token angibt. Für Schätzungen vor dem Senden eignet sich für Englisch eine Regel von vier Zeichen pro Token.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten