TR ▾

Uncensored Model Hubmodel_context_window_exceeded: Nedenleri ve Çözümleri

model_context_window_exceeded: Nedenleri ve Çözümleri

Bağlam penceresi hatası, isteminiz ile istediğiniz yanıtın modelin belleğine sığmadığı anlamına gelir. Bu makale, bu API için (100.000 token) geçerli limiti, istemlerinizi nasıl ölçeceğinizi ve hata oluşmadan önce geçmişi kırpacak kodu açıklar.

güncellendi

Parlayan bloklarla dolu cam kap, taşma kırpılmış, tam bir bağlam penceresini temsil ediyor

Temel noktalar

  1. Pencere 100.000 token’dır ve istem ile tamamlamayı birlikte sayar.
  2. Sohbet uygulamaları her adımda tam geçmişi yeniden gönderdiği için bu sınıra takılır.
  3. Göndermeden önce tokenları sayın veya tahmin edin ve yanıt için bir rezerv bırakın.
  4. Eski dönüşleri kısaltmak maliyeti düşürür, çünkü girdi 1M token başına $0,15 üzerinden faturalandırılır.

model_context_window_exceeded ne anlama gelir

model_context_window_exceeded dizesi, bazı istemciler, SDK'lar ve API'ler tarafından belirli bir hatayı etiketlemek için kullandığı bir ifadedir: gönderdiğiniz metin ve bir cevap için gereken alan, modelin tek bir istekte taşıyabileceğinden daha büyüktür. Mesajın ifadesi araçlar arasında farklılık gösterir, bu nedenle bir isme güvenmek yerine istemcinizin gösterdiği hata mesajının tamamını okuyun. Neden her zaman aynıdır.

Bu API'de bağlam penceresi 100.000 token kapasitesindedir ve bu sayı istem ile tamamlamayı birlikte kapsar. İsteminiz 95.000 token kullanırsa, yanıt için en fazla yaklaşık 5.000 token kalır. max_tokens alanını 8.000 olarak ayarlarsanız, istek pencerenin izin verdiğinden daha fazlasını talep eder. max_tokens alanı isteğe bağlıdır ve bırakıldığında yanıt kalan alanı kullanır.

Bu şekilde başarısız olan bir istek, tamamlama yerine bir hata döndürür. Başarısız istekler ücretlendirilmez, bu nedenle limite takılmak size sadece gidiş-dönüş maliyeti getirir. Çözüm tarafınızdadır: daha az gönderin veya daha az talep edin.

100.000 token ne kadar büyüktür?

Bir token, genellikle kısa bir kelime veya daha uzun bir kelimenin parçası olan bir metin parçasıdır. Sıradan İngilizce metinler için kabaca bir kural olarak, dört karakter başına bir token veya kelimenin yaklaşık dörtte üçü kadar düşünebilirsiniz. Bu kurala göre 100.000 token, yaklaşık 75.000 kelimeye denk gelir; bu kalın bir roman demektir. Kod, JSON, tablolar ve İngilizce dışı metinler karakter başına daha fazla tokena bölündüğü için, aynı karakter sayısı çok daha fazla tokena karşılık gelebilir. Her kuralı bir garanti değil, sadece bir planlama numarası olarak kabul edin.

Kesin sayı, modelin kendi tokenizer'ından gelir. API, yanıtta gerçek kullanımı bildirir: usage nesnesi istem ve tamamlama tokenlerini listeler ve akışlı bir yanıt, kullanımı en sonda gönderir. Eldeki en güvenilir veri budur, bu yüzden bunu günlüğe kaydedin.

İçerikYaklaşık boyut
İki cümlelik bir sohbet mesajı40 ile 60 token arasında
Bir sayfa İngilizce metin, 500 kelimeyaklaşık 670 token
10.000 kelimelik bir belgeyaklaşık 13.000 token
3 MB’lık bir JSON dökümüsıklıkla 100.000 tokenı aşar, ham olarak gönderilemeyecek kadar büyük

İstek gövdesinin ayrıca 8 MB'lık bir boyut sınırı vardır; bu, token limitinden ayrı bir sınırdır. Büyük girdiler bunlardan herhangi biri nedeniyle başarısız olabilir ve token limiti neredeyse her zaman ulaştığınız ilk sınırdır.

Sohbet uygulamaları neden limite takılır

API, çağrılar arasında hafıza tutmaz. Bir konuşmaya devam etmek için kodunuz her seferinde tüm mesaj listesini gönderir. Her adım kullanıcı mesajı ve yanıtı ekler, bu nedenle istem her etkileşimde büyür. Bir saat boyunca iyi çalışan ancak sonra başarısız olmaya başlayan bir bot klasik bir işarettir.

Aynı şey ajanlarda da gerçekleşir. Her araç sonucu geçmişe eklenir ve büyük bir kayıt döndüren bir fonksiyon tek bir adımda binlerce token ekleyebilir. Getirme kurulumları üçüncü bir kaynak ekler: Her isteme yirmi belge parçası yapıştırırsanız, herhangi bir geçmiş oluşmadan önce istek başına taban maliyet zaten büyüktür.

Herhangi bir şeyi düzeltmeden önce, üçünden hangisinin arttığını öğrenin. Her çağrıdan sonra usage'den istem token sayısını yazdırın. Her dönüşte yaklaşık olarak aynı miktarda artıyorsa, bu geçmiş konuşmadır. Belirli adımlardan sonra zıplıyorsa, bu araç çıktısı veya alınan metindir.

Göndermeden önce geçmişi kısaltın

En basit güvenilir çözüm, tahmin bir bütçeye sığana kadar en eski konuşmaları silen bir fonksiyondur. Sistem mesajını her zaman koruyun ve en son kullanıcı mesajını her zaman koruyun. Bütçe, yanıt için alan bırakmalıdır, bu nedenle istem için 80.000 token gibi bir şey kullanın ve geri kalanını tamamlama alanı olarak bırakın.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

Mümkün olduğunda kullanıcı ve asistan konuşmalarını çiftler halinde koruyun; bir çiftin yarısını silmek modeli şaşırtabilir. Araç mesajları benzerdir: role: "tool" mesajı, bunu talep eden asistan dönüşüyle birlikte kalmalı, bu yüzden birlikte silin. Tahmin kabaca olduğu için, bütçeniz ile gerçek pencere arasında %20'lik bir boşluk rahat bir güvenlik payıdır.

Eski adımları silmekten daha iyi seçenekler

Özetleyin, sonra devam edin

Geçmiş bir eşiği geçtiğinde, en eski yarısını modelinize, birkaç yüz kelimeyle özetlemesi talimatını vererek gönderin, ardından bu konuşmaları bir sistem veya kullanıcı mesajı olarak özetle değiştirin. Detay kaybedersiniz ancak konuyu korursunuz. Bu adımı canlı yanıt yolunun dışında çalıştırın, böylece kullanıcı beklemek zorunda kalmaz.

Hayatta kalması gereken gerçekleri sabitleyin

İsimler, kararlar ve ayarlar gibi küçük bir dayanıklı notlar bloğu tutun ve her istekte en üste yerleştirin. Bu, eski bir adımın hala görünürde olmasını ummaktan daha iyi çalışır.

Gönderdiğiniz girdiyi küçültün

Araç sonuçlarını önemli alanlarla sınırlayın. Daha az parça getirin ve her birini ilgili paragraflarla kısaltın. Çok uzun bir belge için, onu parçalara bölün, her parçayı işleyin ve sonuçları son kısa bir çağrıda birleştirin.

max_tokens’ı bilinçli olarak ayarlayın

Cevaplar normalde kısa ise, max_tokens değerini ürününüze uygun bir değere sabitleyin. Bir sınır bütçeyi korur, ancak çok düşük bir sınır cevapları cümle içinde keser, bu yüzden önce günlüklerdeki gerçek cevap uzunluklarını inceleyin.

Kısaltma para da tasarruf sağlar

Girdi tokenları 1M başına 0,15 $, çıktı tokenları 1M başına 0,50 $ fiyatındadır ve ön ödemeli krediden faturalandırılır. Sohbet geçmişi yeniden gönderdiği için, konuşma başına maliyet uzunluğundan daha hızlı artar. Her etkileşim geçmişe 500 token ekleyen ve konuşma 100 adım süren bir sohbet alın.

  • Kısaltma olmadan, n. dönüş 500 x n token gönderir. 100 dönüş için toplam 500 x 5.050 = 2.525.000 istem tokenıdır, bu da 2,525 x $0,15 = $0,379'a mal olur.
  • 20.000 tokenlık bir sınır ile, ilk 40 dönüş aynı kalır (500 x 820 = 410.000 token). Kalan 60 dönüş her seferinde 20.000 token gönderir, bu da 1.200.000 eder. Toplam 1.610.000 token, yani 1,61 x $0,15 = $0,242 eder.

Sınır burada yaklaşık üçte bir tasarruf sağlar ve sohbetler uzadıkça fark büyür. Aşırı durumda, tam 100.000 tokenlık bir istek başına 0,1 x $0,15 = $0,015'e mal olur. Bu tek başına ucuzdur, ancak birçok kullanıcıya hizmet veren bir botta birikerek gider. Fiyatlandırma detayları ve bakiye yükleme bonusları fiyatlandırma sayfasında yer alır ve kredi süresi dolmaz.

Hatanın kodda işlenmesi

Kısaltma ile birlikte bir hatayı da planlayın. API hatasını yakalayın, mesajın bağlam uzunluğuna işaret edip etmediğini kontrol edin, isteği küçültün ve bir kez yeniden deneyin. Aynı isteği yeniden denemeyin, çünkü aynı şekilde başarısız olacaktır.

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

Aşırı büyük bir istek için istemcinizin aldığı gerçek HTTP durum kodunu ve mesajı kontrol edin ve testi ayarlayın; yukarıdaki dize eşleşmesi bir başlangıç noktasıdır. Hız limitleri ayrıdır: HTTP 429 rate_limited veya concurrency ile, çok fazla istek anlamına gelir, çok fazla token anlamına gelmez ve 429 Retry-After: 5 ile geçici bir aşırı yüklenme anlamına gelir. dokümantasyon istek alanlarını listeler, sansürsüz modeller açıklayıcısı modelin ne olduğunu kapsar ve gerçek kullanım sayılarıyla bunların herhangi birini test etmek için bir anahtar alabilirsiniz.

Sorular ve cevaplar

Bir istekte kaç token gönderebilirim?

Bağlam penceresi 100.000 token'dır ve istem ile tamamlama arasında paylaşılır. İstem ne kadar yer tutarsa, yanıt için o kadar alan kalmaz.

Pencereyi aşan bir istek için ücretlendirilir miyim?

Hayır. Başarısız istekler için ücret alınmaz. Yalnızca tamamlanan istekler için token başına ödeme yaparsınız.

max_tokens ayarlamalı mıyım?

Hayır, isteğe bağlıdır. Bu ayar olmadan tamamlama penceredeki kalan alanı kullanabilir. Yanıt uzunluğu ve maliyeti için bir üst sınır koymak istiyorsanız ayarlayın.

Tokenları tam olarak nasıl sayarım?

Her yanıtta gerçek istem ve tamamlama tokenlarını bildiren usage nesnesini okuyun. Göndermeden önce tahminler için İngilizce'de token başına dört karakter kuralı işe yarar.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al