Co oznacza model_context_window_exceeded
Ciąg znaków model_context_window_exceeded to sposób, w jaki niektórzy klienci, SDK i API oznaczają konkretną awarię: tekst, który wysłałeś, plus miejsce potrzebne na odpowiedź, jest większy niż model jest w stanie pomieścić w jednym zapytaniu. Sposób zapisu komunikatu różni się w zależności od narzędzi, więc przeczytaj pełną treść błędu wyświetlaną przez klienta, zamiast polegać na samej nazwie. Przyczyna zawsze jest taka sama.
W tym API okno kontekstu ma 100 000 tokenów, a ta liczba obejmuje razem prompt i uzupełnienie. Jeśli Twój prompt zużywa 95 000 tokenów, na odpowiedź zostaje co najwyżej około 5 000. Jeśli dodatkowo ustawisz max_tokens na 8 000, zapytanie żąda więcej niż pozwala okno. Pole max_tokens jest opcjonalne, a gdy je pominiesz, odpowiedź po prostu wykorzystuje dostępne miejsce.
Zapytanie, które nie przejdzie tego testu, zwraca błąd zamiast uzupełnienia. Nieudane zapytania nie są rozliczane, więc osiągnięcie limitu nic Cię nie kosztuje poza czasem przelotu danych. Rozwiązanie leży po Twojej stronie: wyślij mniej lub poproś o mniej.
Ile to jest 100 000 tokenów?
Token to fragment tekstu, często krótkie słowo lub część dłuższego. Dla zwykłej prozy angielskiej przybliżona zasada mówi, że jeden token to około cztery znaki lub około trzech czwartych słowa. Zgodnie z tą zasadą 100 000 tokenów to około 75 000 słów, czyli objętość grubej powieści. Kod, JSON, tabele i teksty w innych językach dzielą się na więcej tokenów na znak, więc ta sama liczba znaków może stanowić znacznie więcej tokenów. Traktuj każdą taką przybliżoną zasadę jako liczbę orientacyjną do planowania, a nie jako gwarancję.
Dokładny wynik pochodzi z tokenizera samego modelu. API raportuje rzeczywiste użycie w odpowiedzi: obiekt usage wymienia tokeny promptu i uzupełnienia, a strumieniowana odpowiedź wysyła użycie na końcu. To najbardziej wiarygodne dane, jakie masz, więc je loguj.
| Treści | Przybliżony rozmiar |
|---|---|
| Wiadomość czatu z dwoma zdaniami | 40 do 60 tokenów |
| Jedna strona tekstu angielskiego, 500 słów | około 670 tokenów |
| Dokument liczący 10 000 słów | około 13 000 tokenów |
| Zrzut JSON o rozmiarze 3 MB | często ponad 100 000 tokenów, za duże, aby wysłać surowo |
Treść zapytania ma również limit rozmiaru 8 MB, co jest osobnym limitem od tokenów. Duże dane wejściowe mogą nie przejść z powodu któregoś z tych limitów, a limit tokenów jest prawie zawsze tym, który osiągniesz jako pierwszy.
Dlaczego aplikacje czatowe osiągają limit
API nie przechowuje pamięci między wywołaniami. Aby kontynuować rozmowę, Twój kod wysyła całą listę wiadomości za każdym razem. Każda tura dodaje wiadomość użytkownika i odpowiedź, więc prompt rośnie z każdą wymianą. Bot, który działa dobrze przez godzinę, a potem zaczyna zawodzić, to klasyczny objaw.
To samo dzieje się w agentach. Każdy wynik narzędzia jest dołączany do historii, a jedna funkcja zwracająca duży rekord może dodać tysiące tokenów w jednym kroku. Konfiguracje z pobieraniem danych dodają trzecie źródło: jeśli wkleisz dwadzieścia fragmentów dokumentu do każdego promptu, podstawowy koszt zapytania jest już duży, zanim w ogóle istnieje historia.
Zanim zaczniesz naprawiać, sprawdź, która z trzech przyczyn rośnie. Wypisz liczbę tokenów promptu z usage po każdym wywołaniu. Jeśli rośnie o mniej więcej tyle samo przy każdej turze, to historia. Jeśli skacze po konkretnych krokach, to wynik narzędzia lub pobrane dane.
Przycinaj historię przed wysłaniem
Najprostszym niezawodnym rozwiązaniem jest funkcja, która usuwa najstarsze tury, aż szacowana wartość zmieści się w budżecie. Zawsze zachowuj wiadomość systemową i zawsze zachowuj najnowszą wiadomość użytkownika. Budżet powinien pozostawiać miejsce na odpowiedź, więc użyj czegoś w stylu 80 000 tokenów dla promptu, a resztę przeznacz na uzupełnienie.
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
)
def estimate_tokens(text: str) -> int:
return len(text) // 4 + 4 # rough: 4 characters per token plus overhead
def trim(messages, budget=80_000):
system = [m for m in messages if m["role"] == "system"]
rest = [m for m in messages if m["role"] not in ("system",)]
total = sum(estimate_tokens(m["content"]) for m in system + rest)
while total > budget and len(rest) > 1:
dropped = rest.pop(0) # oldest turn goes first
total -= estimate_tokens(dropped["content"])
return system + rest
history = [{"role": "system", "content": "You are a helpful assistant."}]
def ask(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=trim(history),
max_tokens=2000,
)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
return reply
Zachowuj tury użytkownika i asystenta parami, gdy to możliwe; usunięcie jednej połowy pary może zmylić model. Wiadomości narzędziowe są podobne: wiadomość role: "tool" musi pozostać przy turze asystenta, która ją zażądała, więc usuwaj je razem. Ponieważ szacunkowa wartość jest przybliżona, 20-procentowy margines między Twoim budżetem a rzeczywistym oknem kontekstu to komfortowy zapas bezpieczeństwa.
Lepsze opcje niż usuwanie starych tur
Podsumuj, a następnie kontynuuj
Gdy historia przekracza próg, wyślij najstarszą połowę do modelu z instrukcją podsumowania jej w kilku setkach słów, a następnie zastąp te tury podsumowaniem jako wiadomością systemową lub użytkownika. Tracisz szczegóły, ale zachowujesz wątek. Wykonaj ten krok poza ścieżką odpowiedzi w czasie rzeczywistym, aby użytkownik nie musiał czekać.
Przypnij fakty, które muszą przetrwać
Zachowaj mały blok trwałych notatek, takich jak nazwy, decyzje i ustawienia, i wstawiaj go na początku każdego zapytania. Działa to lepiej niż liczenie na to, że stara tura jest nadal w oknie kontekstu.
Zmniejsz to, co wysyłasz
Obcinaj wyniki narzędzi do istotnych pól. Pobieraj mniej fragmentów i obcinaj każdy do odpowiednich akapitów. Dla bardzo długiego dokumentu podziel go na części, przetwórz każdą część i połącz wyniki w końcowym krótkim wywołaniu.
Ustaw max_tokens celowo
Jeśli odpowiedzi są zwykle krótkie, ogranicz max_tokens do wartości pasującej do Twojego produktu. Limit chroni budżet, ale limit zbyt niski odcina odpowiedzi w połowie zdania, więc najpierw sprawdź rzeczywiste długości odpowiedzi w logach.
Przycinanie oszczędza również pieniądze
Tokeny wejściowe kosztują $0,15 za 1 mln, tokeny wyjściowe $0,50 za 1 mln, rozliczane z przedpłaconego kredytu. Ponieważ system wysyła historię ponownie, koszt na rozmowę rośnie szybciej niż jej długość. Rozważ rozmowę, w której każda wymiana dodaje 500 tokenów do historii, a rozmowa trwa 100 tur.
- Bez przycinania tura n wysyła 500 x n tokenów. Suma po 100 turach to 500 x 5 050 = 2 525 000 tokenów wejściowych, co kosztuje 2,525 x $0,15 = $0,379.
- Z limitem 20 000 tokenów pierwsze 40 tur są takie same (500 x 820 = 410 000 tokenów). Pozostałe 60 tur wysyła po 20 000, co daje 1 200 000. Łącznie to 1 610 000 tokenów, czyli 1,61 x $0,15 = $0,242.
Limit oszczędza tu około jednej trzeciej, a luka powiększa się wraz z dłuższymi rozmowami. W skrajnym przypadku pełny prompt 100 000 tokenów kosztuje 0,1 x $0,15 = $0,015 za zapytanie. To tanie samo w sobie, ale sumuje się w botach obsługujących wielu użytkowników. Szczegóły cen i bonusy za doładowanie znajdziesz na stronie z cenami, a kredyt nigdy nie wygasa.
Obsługa błędu w kodzie
Nawet z przycinaniem zaplanuj awarię. Wyłap błąd API, sprawdź, czy komunikat odnosi się do długości kontekstu, zmniejsz zapytanie i spróbuj ponownie raz. Nie powtarzaj identycznego zapytania, ponieważ zakończy się ono tym samym błędem.
from openai import BadRequestError
def safe_ask(messages, budget=80_000):
try:
return client.chat.completions.create(
model="uncensored", messages=trim(messages, budget)
)
except BadRequestError as err:
if "context" in str(err).lower() and budget > 10_000:
return safe_ask(messages, budget // 2)
raise
Sprawdź rzeczywisty kod stanu i komunikat, który otrzyma Twój klient dla zbyt dużego zapytania, i dostosuj test; dopasowanie ciągu znaków powyżej to tylko punkt wyjścia. Limity szybkości są osobne: HTTP 429 z rate_limited lub concurrency oznacza zbyt wiele zapytań, a nie zbyt wiele tokenów, a 429 z Retry-After: 5 oznacza tymczasowe przeciążenie. Dokumentacja wymienia pola zapytania, poradnik o modelach bez cenzury wyjaśnia, czym jest model, a Ty możesz uzyskać klucz, aby przetestować wszystko na rzeczywistych danych.
