AR ▾

Uncensored Model Hubخطأ تجاوز نافذة السياق: الأسباب والحلول

خطأ تجاوز نافذة السياق: الأسباب والحلول

يعني خطأ نافذة السياق أن الموجّه زائد الرد الذي طلبته لم يعدا يتسعان في ذاكرة النموذج. يشرح هذا المقال الحد في واجهة برمجة التطبيقات هذه (100,000 رمز)، وكيفية قياس الموجّهات، والأكواد التي تقص السجل قبل الفشل.

تم التحديث

وعاء زجاجي مليء بكتل متوهجة، الزائد مقطوع، يمثل نافذة سياق ممتلئة

نقاط رئيسية

  1. السعة 100,000 رمز وتشمل الموجّه والإكمال معًا.
  2. تطبيقات الدردشة تصطدم بها لأنها تعيد إرسال كامل سجل المحادثة في كل دور.
  3. احسب أو قدّر الرموز قبل الإرسال، واحتفظ بمساحة للرد.
  4. يؤدي تقليص الأدوار القديمة إلى خفض التكلفة أيضاً، حيث تُحسب تكلفة المدخلات بمبلغ $0.15 لكل مليون رمز.

ماذا يعني خطأ تجاوز نافذة السياق

السلسلة model_context_window_exceeded هي الطريقة التي يسمّي بها بعض العملاء، SDKs وواجهات برمجة التطبيقات فشلًا محددًا: النص الذي أرسلته، زائد المساحة اللازمة للإجابة، أكبر مما يمكن للنموذج الاحتفاظ به في طلب واحد. تختلف صيغة الرسالة بين الأدوات، لذا اقرأ جسم الخطأ الكامل الذي يظهره عميلك بدلاً من الاعتماد على الاسم. السبب دائمًا هو نفسه.

في هذه الـ API، تبلغ نافذة السياق 100,000 رمز (token)، ويشمل هذا العدد كلًا من الموجّه والإكمال معًا. إذا كان الموجّه الخاص بك يستخدم 95,000 رمز (token)، يتبقى على الأكثر حوالي 5,000 رمز (token) للرد. إذا قمت أيضًا بتعيين max_tokens إلى 8,000، فإن الطلب يطلب أكثر مما تسمح به نافذة السياق. حقل max_tokens اختياري، وعندما تتركه فارغًا، يستخدم الرد ببساطة المساحة المتبقية.

الطلب الذي يفشل بهذه الطريقة يُرجع خطأ بدلاً من الرد. الطلبات الفاشلة لا تُفرض عليها رسوم، لذا فإن تجاوز الحد لا يكلفك شيئاً سوى تكلفة دورة الطلب. الحل من جانبك: أرسل أقل، أو اطلب أقل.

ما حجم 100,000 رمز (token)؟

الرمز (token) هو جزء من النص، وغالبًا ما يكون كلمة قصيرة أو جزءًا من كلمة أطول. بالنسبة للنثر الإنجليزي العادي، فإن قاعدة تقريبية هي رمز واحد (token) لكل أربعة أحرف، أو حوالي ثلاثة أرباع كلمة. وفقًا لهذه القاعدة، فإن 100,000 رمز (token) تعادل حوالي 75,000 كلمة، وهو ما يعادل رواية ضخمة. ينقسم الكود وJSON والجداول والنصوص غير الإنجليزية إلى رموز (tokens) أكثر لكل حرف، لذا يمكن أن يكون نفس عدد الأحرف أكبر بكثير. تعامل مع أي قاعدة عامة كرقم للتخطيط، وليس كضمان.

العدد الدقيق يأتي من مرمّز النموذج الخاص به. تبلغ الـ API عن الاستخدام الفعلي في الاستجابة: كائن usage يسرد رموز الموجّه والرد، والاستجابة المتدفقة ترسل بيانات الاستخدام في النهاية. هذه هي البيانات الأكثر موثوقية التي لديك، لذا سجلها.

المحتوىالحجم التقريبي
رسالة دردشة من جملتين40 إلى 60 رمز (token)
صفحة نص إنجليزي، 500 كلمةحوالي 670 رمز (token)
مستند مكون من 10,000 كلمةحوالي 13,000 رمز (token)
تفريغ JSON بحجم 3 ميجابايتغالبًا أكثر من 100,000 رمز (token)، وهو كبير جدًا للإرسال الخام

يحتوي جسم الطلب أيضًا على حد حجم يبلغ 8 ميجابايت، وهو حد منفصل عن رموز (tokens). يمكن أن يفشل الإدخال الكبير بسبب أي من هذين، وحد رموز (tokens) هو تقريبًا الحد الأول الذي تصل إليه.

لماذا تتعرض تطبيقات الدردشة للحد

لا تحتفظ الـ API بأي ذاكرة بين المكالمات. لمواصلة المحادثة، يرسل الكود الخاص بك قائمة الرسائل الكاملة في كل مرة. يضيف كل دور رسالة المستخدم والرد، لذا ينمو الموجّه مع كل تبادل. البوت الذي يعمل بشكل جيد لمدة ساعة ثم يبدأ في الفشل هو العلامة الكلاسيكية.

يحدث الشيء نفسه في الوكلاء. يتم إرفاق كل نتيجة أداة بالتاريخ، ويمكن لدالة واحدة تعيد سجلًا كبيرًا أن تضيف آلاف الرموز (tokens) في خطوة واحدة. تضيف إعدادات الاسترجاع مصدرًا ثالثًا: إذا ألصقت عشرين قطعة مستند في كل موجّه، فإن التكلفة الأساسية لكل طلب تكون كبيرة بالفعل قبل وجود أي تاريخ.

قبل إصلاح أي شيء، اكتشف أي من الثلاثة ينمو. اطبع عدد رموز (tokens) الموجّه من usage بعد كل استدعاء. إذا ارتفع بنفس الكمية تقريبًا في كل دور، فهو التاريخ. إذا قفز بعد خطوات محددة، فهو مخرجات الأداة أو النص المسترجع.

قم بتقليص التاريخ قبل إرساله

أبسط حل موثوق هو دالة تحذف أقدم الأدوار حتى يتناسب التقدير مع ميزانية. احتفظ برسالة النظام دائماً، واحتفظ برسالة المستخدم الأخيرة دائماً. يجب أن تترك الميزانية مساحة للرد، لذا استخدم شيئاً مثل 80,000 رمز للموجّه واترك الباقي كفضاء للرد.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

احتفظ بأدوار المستخدم والمساعد في أزواج عندما يمكنك؛ حذف أحد طرفي الزوج قد يربك النموذج. رسائل الأدوات مشابهة: يجب أن تبقى رسالة role: "tool" مع دور المساعد الذي طلبها، لذا احذفهما معاً. لأن التقدير تقريبي، فإن فجوة بنسبة 20 في المئة بين ميزانيتك ونافذة السياق الحقيقية هي هامش أمان مريح.

خيارات أفضل من حذف الأدوار القديمة

الخلاصة، ثم الاستمرار

عندما يتجاوز التاريخ عتبة معينة، أرسل النصف الأقدم إلى النموذج مع تعليمة بتلخيصه في بضع مئات من الكلمات، ثم استبدل تلك الأدوار بالملخص كرسالة نظام أو مستخدم. تفقد التفاصيل ولكن تحتفظ بسياق المحادثة. قم بتشغيل هذه الخطوة خارج مسار الرد المباشر حتى لا ينتظر المستخدم.

ثبّت الحقائق التي يجب أن تبقى

احتفظ بكتلة صغيرة من الملاحظات الدائمة، مثل الأسماء والقرارات والإعدادات، وأعد إدراجها في بداية كل طلب. هذا يعمل بشكل أفضل من الاعتماد على بقاء دور قديم ضمن نافذة السياق.

قلّل ما تُدخله

اقتصِ نتائج الأدوات إلى الحقول المهمة. استرجع أجزاءً أقل، واقتصِ كل جزء إلى الفقرات ذات الصلة. بالنسبة إلى مستند طويل جداً، قسّمه إلى أجزاء، وعالج كل جزء، وادمج النتائج في طلب نهائي قصير.

ضبط max_tokens عن قصد

إذا كانت الإجابات قصيرة عادةً، حدد قيمة max_tokens بما يتناسب مع منتجك. يحمي الحدّ الميزانية، لكن الحدّ المنخفض جداً يقطع الردود في منتصف الجملة، لذا راجع أطوال إجاباتك الفعلية في السجلات أولاً.

الاقتصاص يوفر المال أيضاً

تبلغ تكلفة الرموز المدخلة $0.15 لكل مليون رمز، وتتكلف الرموز المخرجة $0.50 لكل مليون رمز، وتُخصم من رصيد مسبق الدفع. لأن الدردشة تعيد إرسال سجل المحادثة، تنمو التكلفة لكل محادثة أسرع من نمو طولها. خذ محادثة تضيف فيها كل تبادل 500 رمز إلى السجل، وتعمل المحادثة لمدة 100 تبادل.

  • بدون تقليص، يرسل الدور n 500 × n رمز. المجموع على 100 دور هو 500 × 5,050 = 2,525,000 رمز مدخل، مما يكلف 2.525 × $0.15 = $0.379.
  • مع حد 20,000 رمز، تكون أول 40 دور هي نفسها (500 × 820 = 410,000 رمز). الـ 60 دور المتبقية ترسل 20,000 لكل منها، وهو 1,200,000. المجموع هو 1,610,000 رمز، أو 1.61 × $0.15 = $0.242.

يوفر الحد ثلث التكلفة هنا، وتزداد الفجوة مع طول المحادثات. في الحالة القصوى، يكلف طلب كامل بحجم 100,000 رمز 0.1 × $0.15 = $0.015 لكل طلب. هذا رخيص بمفرده، لكنه يتراكم في بوت يخدم العديد من المستخدمين. تفاصيل التسعير ومكافآت شحن الرصيد موجودة في صفحة التسعير، ولا ينتهي الرصيد.

معالجة الخطأ في الكود

حتى مع الاقتصاص، خطط للفشل. التقط خطأ API، تحقق مما إذا كانت الرسالة تشير إلى طول السياق، قلّل الطلب، وأعد المحاولة مرة واحدة. لا تعيد المحاولة بنفس الطلب، لأنه سيفشل بنفس الطريقة.

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

تحقق من رمز الحالة والرسالة الفعلية التي يتلقاها عميلك لطلب بحجم كبير وعدل الاختبار؛ مطابقة السلسلة أعلاه هي نقطة بداية. حدود المعدل منفصلة: HTTP 429 مع rate_limited أو concurrency يعني طلبات كثيرة جداً، وليس رموزاً كثيرة، و429 مع Retry-After: 5 يعني حملاً زائداً مؤقتاً. تسرد الوثائق حقول الطلب، والشرح حول النماذج بدون رقابة يغطي ماهية النموذج، ويمكنك الحصول على مفتاح لاختبار أي من هذا بأرقام استخدام حقيقية.

أسئلة وأجوبة

كم رمزاً يمكنني إرساله في طلب واحد؟

النافذة هي 100,000 رمز، مشتركة بين موجّهك والرد. أي شيء يستخدمه الموجّه لم يعد متاحاً للرد.

هل تُخصم رسوم من رصيدي عندما يتجاوز الطلب نافذة السياق؟

لا. الطلبات الفاشلة لا تُفرض عليها رسوم. تدفع مقابل الرمز فقط للطلبات التي تكتمل.

هل يجب تعيين max_tokens؟

لا، إنها اختيارية. بدونها، يمكن للنموذج استخدام المساحة المتبقية في نافذة السياق. عيّنها إذا أردت حداً أقصى صارماً لطول الرد والتكلفة.

كيف أحسب الرموز (tokens) بدقة؟

اطّلع على كائن usage في كل استجابة، الذي يُبلغ عن عدد رموز (tokens) الموجّه والإكمال الفعلية. للتقديرات قبل الإرسال، تعمل قاعدة أربعة أحرف لكل رمز (token) مع اللغة الإنجليزية.

مفتاحك على بُعد استمارة واحدة

أنشئ حساباً، وانسخ المفتاح، ثم غيّر عنوان URL الأساسي. هذا هو الإعداد كله.

احصل على مفتاح API