RU ▾

Uncensored Model Hubmodel_context_window_exceeded: причины и решения

model_context_window_exceeded: причины и решения

Ошибка контекстного окна означает, что ваш промпт плюс запрошенный ответ больше не помещаются в память модели. В этой статье объясняется лимит этого API (100 000 токенов), как измерять ваши промпты и код, который сокращает историю до возникновения ошибки.

Обновлено

Стеклянная ёмкость, заполненная светящимися блоками, излишки обрезаны, что символизирует заполненное контекстное окно

Ключевые моменты

  1. Окно составляет 100 000 токенов и включает промпт и завершение вместе.
  2. Чат-приложения достигают лимита, потому что они пересылают полную историю на каждом шаге.
  3. Считайте или оценивайте токены перед отправкой и оставляйте резерв для ответа.
  4. Сокращение старых сообщений также снижает стоимость, так как ввод оплачивается по $0,15 за 1 млн токенов.

Что означает model_context_window_exceeded

Строка model_context_window_exceeded — это то, как некоторые клиенты, SDK и API обозначают одну конкретную ошибку: текст, который вы отправили, плюс место, необходимое для ответа, больше, чем модель может удержать в одном запросе. Формулировка сообщения различается в разных инструментах, поэтому читайте полный текст ошибки, который показывает ваш клиент, а не полагайтесь на название. Причина всегда одна.

В этом API контекстное окно составляет 100 000 токенов, и это число охватывает промпт и завершение вместе. Если ваш промпт использует 95 000 токенов, на ответ остаётся не более 5 000. Если вы также установите max_tokens в 8 000, запрос запросит больше, чем позволяет окно. Поле max_tokens необязательно, и если вы его не укажете, ответ просто использует оставшееся место.

Запрос, который завершается так, возвращает ошибку вместо завершения. Ошибочные запросы не оплачиваются, поэтому превышение лимита обходится вам только в время на сетевой обмен. Решение на вашей стороне: отправляйте меньше данных или запрашивайте меньше.

Сколько это — 100 000 токенов?

Токен — это фрагмент текста, часто короткое слово или часть более длинного. Для обычного английского текста грубое правило таково: один токен на четыре символа или около трёх четвертей слова. По этому правилу 100 000 токенов — это примерно 75 000 слов, что соответствует объёму толстого романа. Код, JSON, таблицы и тексты на других языках разбиваются на большее количество токенов на символ, поэтому при том же количестве символов результат может быть значительно больше. Считайте любые приблизительные правила числом для планирования, а не гарантией.

Точный подсчёт даёт собственный токенизатор модели. API сообщает о реальном использовании в ответе: объект usage перечисляет токены промпта и завершения, а потоковый ответ отправляет использование в конце. Это самые надёжные данные, которые у вас есть, поэтому ведите их учёт.

КонтентПримерный размер
Сообщение в чате из двух предложений40–60 токенов
Одна страница английского текста, 500 словоколо 670 токенов
Документ на 10 000 словоколо 13 000 токенов
Выгрузка JSON объёмом 3 МБчасто более 100 000 токенов, слишком много для отправки как есть

Тело запроса также имеет ограничение по размеру в 8 МБ, что является отдельным лимитом от токенов. Большие входные данные могут завершиться ошибкой по одной из причин, и лимит токенов почти всегда достигается первым.

Почему приложения для чатов достигают лимита

API не хранит память между вызовами. Чтобы продолжить разговор, ваш код отправляет весь список сообщений каждый раз. Каждый шаг добавляет сообщение пользователя и ответ, поэтому промпт растёт с каждым обменом. Бот, который работает нормально час, а затем начинает выдавать ошибки, — классический признак.

То же самое происходит в агентах. Каждый результат инструмента добавляется к истории, и одна функция, возвращающая большую запись, может добавить тысячи токенов за один шаг. Настройки с поиском добавляют третий источник: если вы вставляете двадцать фрагментов документа в каждый промпт, базовая стоимость запроса уже велика, даже до существования истории.

Прежде чем что-то исправлять, узнайте, какой из трёх компонентов растёт. Выводите количество токенов промпта из usage после каждого вызова. Если оно растёт примерно на одну и ту же величину каждый шаг, это история. Если оно скачет после определённых шагов, это вывод инструмента или полученный текст.

Сокращайте историю перед отправкой

Самое простое надёжное решение — функция, которая удаляет самые старые сообщения, пока оценка не уложится в бюджет. Всегда сохраняйте системное сообщение и всегда сохраняйте последнее сообщение пользователя. Бюджет должен оставлять место для ответа, поэтому используйте что-то вроде 80 000 токенов для промпта, а остальное оставьте для пространства завершения.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

Сохраняйте сообщения пользователя и ассистента парами, когда это возможно; удаление одной половины пары может сбить модель с толку. Сообщения инструментов аналогичны: сообщение role: "tool" должно оставаться с сообщением ассистента, которое его запросило, поэтому удаляйте их вместе. Поскольку оценка приблизительна, 20-процентный разрыв между вашим бюджетом и реальным окном — это комфортный запас прочности.

Лучшие варианты, чем удаление старых сообщений

Суммируйте, затем продолжайте

Когда история превышает порог, отправляйте модели старшую часть диалога с инструкцией суммировать её в нескольких сотнях слов, а затем замените эти реплики на сводку в виде системного или пользовательского сообщения. Вы потеряете детали, но сохраните нить разговора. Выполняйте этот шаг вне основного потока ответа, чтобы пользователь не ждал.

Закрепите факты, которые должны сохраниться

Храните небольшой блок неизменных заметок, таких как имена, решения и настройки, и вставляйте его в начало каждого запроса. Это работает лучше, чем надеяться, что старая реплика всё ещё доступна в окне контекста.

Уменьшите то, что вы отправляете

Обрежьте результаты инструментов до необходимых полей. Получайте меньше фрагментов и обрезайте каждый до релевантных абзацев. Для очень длинного документа разбейте его на части, обработайте каждую часть и объедините результаты в финальном коротком вызове.

Устанавливайте max_tokens осознанно

Если ответы обычно короткие, ограничьте max_tokens значением, подходящим для вашего продукта. Ограничение защищает бюджет, но слишком низкое ограничение может обрывать ответы на полуслове, поэтому сначала посмотрите на реальный объём ответов в логах.

Сокращение также экономит деньги

Входные токены стоят $0,15 за 1 млн, выходные токены $0,50 за 1 млн, списываются с предоплаченного баланса. Поскольку чат повторно отправляет историю, стоимость разговора растёт быстрее его длины. Возьмите чат, где каждый обмен добавляет 500 токенов в историю, и разговор длится 100 шагов.

  • Без сокращения шаг n отправляет 500 x n токенов. Сумма за 100 шагов составляет 500 x 5 050 = 2 525 000 входных токенов, что стоит 2,525 x $0,15 = $0,379.
  • С ограничением в 20 000 токенов первые 40 шагов одинаковы (500 x 820 = 410 000 токенов). Оставшиеся 60 шагов отправляют по 20 000 каждый, что составляет 1 200 000. Итого 1 610 000 токенов, или 1,61 x $0,15 = $0,242.

Ограничение экономит примерно треть, и разрыв увеличивается по мере удлинения чатов. В крайнем случае, полный промпт на 100 000 токенов стоит 0,1 x $0,15 = $0,015 за запрос. Это дёшево само по себе, но складывается в боте, который обслуживает многих пользователей. Подробности о ценах и бонусах за пополнение на странице цен, и кредит никогда не сгорает.

Обработка ошибки в коде

Даже при сокращении планируйте сбой. Перехватите ошибку API, проверьте, указывает ли сообщение на длину контекста, уменьшите запрос и повторите попытку один раз. Не повторяйте тот же запрос, так как он завершится с той же ошибкой.

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

Проверьте фактический код состояния и сообщение, которое получает ваш клиент для запроса с избыточным размером, и настройте тест; совпадение строк выше — это отправная точка. Лимиты запросов отдельны: HTTP 429 с rate_limited или concurrency означает слишком много запросов, а не слишком много токенов, а 429 с Retry-After: 5 означает временную перегрузку. Документация перечисляет поля запроса, объяснение о моделях без цензуры охватывает, что такое модель, и вы можете получить ключ для тестирования всего этого с реальными показателями использования.

Вопросы и ответы

Сколько токенов я могу отправить в одном запросе?

Контекстное окно рассчитано на 100 000 токенов, которые делятся между вашим промптом и завершением. Всё, что использует промпт, больше недоступно для ответа.

Списывается ли плата, если запрос превышает контекстное окно?

Нет. За неудачные запросы не берут плату. Вы платите за токены только за запросы, которые завершаются.

Обязательно ли указывать max_tokens?

Нет, это необязательно. Без этого параметра завершение может использовать оставшееся место в окне. Укажите его, если хотите установить жёсткий лимит на длину ответа и стоимость.

Как точно посчитать токены?

Прочтите объект usage в каждом ответе, который сообщает о реальных токенах промпта и завершения. Для предварительных оценок перед отправкой подходит правило: четыре символа на токен для английского языка.

До вашего ключа — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ