model_context_window_exceeded ne anlama gelir
model_context_window_exceeded dizesi, bazı istemciler, SDK'lar ve API'ler tarafından belirli bir hatayı etiketlemek için kullandığı bir ifadedir: gönderdiğiniz metin ve bir cevap için gereken alan, modelin tek bir istekte taşıyabileceğinden daha büyüktür. Mesajın ifadesi araçlar arasında farklılık gösterir, bu nedenle bir isme güvenmek yerine istemcinizin gösterdiği hata mesajının tamamını okuyun. Neden her zaman aynıdır.
Bu API'de bağlam penceresi 100.000 token kapasitesindedir ve bu sayı istem ile tamamlamayı birlikte kapsar. İsteminiz 95.000 token kullanırsa, yanıt için en fazla yaklaşık 5.000 token kalır. max_tokens alanını 8.000 olarak ayarlarsanız, istek pencerenin izin verdiğinden daha fazlasını talep eder. max_tokens alanı isteğe bağlıdır ve bırakıldığında yanıt kalan alanı kullanır.
Bu şekilde başarısız olan bir istek, tamamlama yerine bir hata döndürür. Başarısız istekler ücretlendirilmez, bu nedenle limite takılmak size sadece gidiş-dönüş maliyeti getirir. Çözüm tarafınızdadır: daha az gönderin veya daha az talep edin.
100.000 token ne kadar büyüktür?
Bir token, genellikle kısa bir kelime veya daha uzun bir kelimenin parçası olan bir metin parçasıdır. Sıradan İngilizce metinler için kabaca bir kural olarak, dört karakter başına bir token veya kelimenin yaklaşık dörtte üçü kadar düşünebilirsiniz. Bu kurala göre 100.000 token, yaklaşık 75.000 kelimeye denk gelir; bu kalın bir roman demektir. Kod, JSON, tablolar ve İngilizce dışı metinler karakter başına daha fazla tokena bölündüğü için, aynı karakter sayısı çok daha fazla tokena karşılık gelebilir. Her kuralı bir garanti değil, sadece bir planlama numarası olarak kabul edin.
Kesin sayı, modelin kendi tokenizer'ından gelir. API, yanıtta gerçek kullanımı bildirir: usage nesnesi istem ve tamamlama tokenlerini listeler ve akışlı bir yanıt, kullanımı en sonda gönderir. Eldeki en güvenilir veri budur, bu yüzden bunu günlüğe kaydedin.
| İçerik | Yaklaşık boyut |
|---|---|
| İki cümlelik bir sohbet mesajı | 40 ile 60 token arasında |
| Bir sayfa İngilizce metin, 500 kelime | yaklaşık 670 token |
| 10.000 kelimelik bir belge | yaklaşık 13.000 token |
| 3 MB’lık bir JSON dökümü | sıklıkla 100.000 tokenı aşar, ham olarak gönderilemeyecek kadar büyük |
İstek gövdesinin ayrıca 8 MB'lık bir boyut sınırı vardır; bu, token limitinden ayrı bir sınırdır. Büyük girdiler bunlardan herhangi biri nedeniyle başarısız olabilir ve token limiti neredeyse her zaman ulaştığınız ilk sınırdır.
Sohbet uygulamaları neden limite takılır
API, çağrılar arasında hafıza tutmaz. Bir konuşmaya devam etmek için kodunuz her seferinde tüm mesaj listesini gönderir. Her adım kullanıcı mesajı ve yanıtı ekler, bu nedenle istem her etkileşimde büyür. Bir saat boyunca iyi çalışan ancak sonra başarısız olmaya başlayan bir bot klasik bir işarettir.
Aynı şey ajanlarda da gerçekleşir. Her araç sonucu geçmişe eklenir ve büyük bir kayıt döndüren bir fonksiyon tek bir adımda binlerce token ekleyebilir. Getirme kurulumları üçüncü bir kaynak ekler: Her isteme yirmi belge parçası yapıştırırsanız, herhangi bir geçmiş oluşmadan önce istek başına taban maliyet zaten büyüktür.
Herhangi bir şeyi düzeltmeden önce, üçünden hangisinin arttığını öğrenin. Her çağrıdan sonra usage'den istem token sayısını yazdırın. Her dönüşte yaklaşık olarak aynı miktarda artıyorsa, bu geçmiş konuşmadır. Belirli adımlardan sonra zıplıyorsa, bu araç çıktısı veya alınan metindir.
Göndermeden önce geçmişi kısaltın
En basit güvenilir çözüm, tahmin bir bütçeye sığana kadar en eski konuşmaları silen bir fonksiyondur. Sistem mesajını her zaman koruyun ve en son kullanıcı mesajını her zaman koruyun. Bütçe, yanıt için alan bırakmalıdır, bu nedenle istem için 80.000 token gibi bir şey kullanın ve geri kalanını tamamlama alanı olarak bırakın.
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
)
def estimate_tokens(text: str) -> int:
return len(text) // 4 + 4 # rough: 4 characters per token plus overhead
def trim(messages, budget=80_000):
system = [m for m in messages if m["role"] == "system"]
rest = [m for m in messages if m["role"] not in ("system",)]
total = sum(estimate_tokens(m["content"]) for m in system + rest)
while total > budget and len(rest) > 1:
dropped = rest.pop(0) # oldest turn goes first
total -= estimate_tokens(dropped["content"])
return system + rest
history = [{"role": "system", "content": "You are a helpful assistant."}]
def ask(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=trim(history),
max_tokens=2000,
)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
return reply
Mümkün olduğunda kullanıcı ve asistan konuşmalarını çiftler halinde koruyun; bir çiftin yarısını silmek modeli şaşırtabilir. Araç mesajları benzerdir: role: "tool" mesajı, bunu talep eden asistan dönüşüyle birlikte kalmalı, bu yüzden birlikte silin. Tahmin kabaca olduğu için, bütçeniz ile gerçek pencere arasında %20'lik bir boşluk rahat bir güvenlik payıdır.
Eski adımları silmekten daha iyi seçenekler
Özetleyin, sonra devam edin
Geçmiş bir eşiği geçtiğinde, en eski yarısını modelinize, birkaç yüz kelimeyle özetlemesi talimatını vererek gönderin, ardından bu konuşmaları bir sistem veya kullanıcı mesajı olarak özetle değiştirin. Detay kaybedersiniz ancak konuyu korursunuz. Bu adımı canlı yanıt yolunun dışında çalıştırın, böylece kullanıcı beklemek zorunda kalmaz.
Hayatta kalması gereken gerçekleri sabitleyin
İsimler, kararlar ve ayarlar gibi küçük bir dayanıklı notlar bloğu tutun ve her istekte en üste yerleştirin. Bu, eski bir adımın hala görünürde olmasını ummaktan daha iyi çalışır.
Gönderdiğiniz girdiyi küçültün
Araç sonuçlarını önemli alanlarla sınırlayın. Daha az parça getirin ve her birini ilgili paragraflarla kısaltın. Çok uzun bir belge için, onu parçalara bölün, her parçayı işleyin ve sonuçları son kısa bir çağrıda birleştirin.
max_tokens’ı bilinçli olarak ayarlayın
Cevaplar normalde kısa ise, max_tokens değerini ürününüze uygun bir değere sabitleyin. Bir sınır bütçeyi korur, ancak çok düşük bir sınır cevapları cümle içinde keser, bu yüzden önce günlüklerdeki gerçek cevap uzunluklarını inceleyin.
Kısaltma para da tasarruf sağlar
Girdi tokenları 1M başına 0,15 $, çıktı tokenları 1M başına 0,50 $ fiyatındadır ve ön ödemeli krediden faturalandırılır. Sohbet geçmişi yeniden gönderdiği için, konuşma başına maliyet uzunluğundan daha hızlı artar. Her etkileşim geçmişe 500 token ekleyen ve konuşma 100 adım süren bir sohbet alın.
- Kısaltma olmadan, n. dönüş 500 x n token gönderir. 100 dönüş için toplam 500 x 5.050 = 2.525.000 istem tokenıdır, bu da 2,525 x $0,15 = $0,379'a mal olur.
- 20.000 tokenlık bir sınır ile, ilk 40 dönüş aynı kalır (500 x 820 = 410.000 token). Kalan 60 dönüş her seferinde 20.000 token gönderir, bu da 1.200.000 eder. Toplam 1.610.000 token, yani 1,61 x $0,15 = $0,242 eder.
Sınır burada yaklaşık üçte bir tasarruf sağlar ve sohbetler uzadıkça fark büyür. Aşırı durumda, tam 100.000 tokenlık bir istek başına 0,1 x $0,15 = $0,015'e mal olur. Bu tek başına ucuzdur, ancak birçok kullanıcıya hizmet veren bir botta birikerek gider. Fiyatlandırma detayları ve bakiye yükleme bonusları fiyatlandırma sayfasında yer alır ve kredi süresi dolmaz.
Hatanın kodda işlenmesi
Kısaltma ile birlikte bir hatayı da planlayın. API hatasını yakalayın, mesajın bağlam uzunluğuna işaret edip etmediğini kontrol edin, isteği küçültün ve bir kez yeniden deneyin. Aynı isteği yeniden denemeyin, çünkü aynı şekilde başarısız olacaktır.
from openai import BadRequestError
def safe_ask(messages, budget=80_000):
try:
return client.chat.completions.create(
model="uncensored", messages=trim(messages, budget)
)
except BadRequestError as err:
if "context" in str(err).lower() and budget > 10_000:
return safe_ask(messages, budget // 2)
raise
Aşırı büyük bir istek için istemcinizin aldığı gerçek HTTP durum kodunu ve mesajı kontrol edin ve testi ayarlayın; yukarıdaki dize eşleşmesi bir başlangıç noktasıdır. Hız limitleri ayrıdır: HTTP 429 rate_limited veya concurrency ile, çok fazla istek anlamına gelir, çok fazla token anlamına gelmez ve 429 Retry-After: 5 ile geçici bir aşırı yüklenme anlamına gelir. dokümantasyon istek alanlarını listeler, sansürsüz modeller açıklayıcısı modelin ne olduğunu kapsar ve gerçek kullanım sayılarıyla bunların herhangi birini test etmek için bir anahtar alabilirsiniz.
