ES ▾

Uncensored Model Hubmodel_context_window_exceeded: Causas y soluciones

model_context_window_exceeded: Causas y soluciones

Un error de ventana de contexto significa que tu prompt más la respuesta que pediste ya no caben en la memoria del modelo. Este artículo explica el límite de esta API (100.000 tokens), cómo medir tus prompts y el código que recorta el historial antes de que falle.

Actualizado

Recipiente de vidrio lleno de bloques brillantes, el desbordamiento recortado, representando una ventana de contexto llena

Puntos clave

  1. La ventana es de 100.000 tokens y cuenta el prompt y la finalización juntos.
  2. Las aplicaciones de chat lo alcanzan porque reenvían todo el historial en cada turno.
  3. Cuenta o estima los tokens antes de enviar y mantén una reserva para la respuesta.
  4. Recortar turnos antiguos también reduce el costo, ya que la entrada se cobra a $0,15 por 1M de tokens.

Qué significa model_context_window_exceeded

La cadena model_context_window_exceeded es cómo algunos clientes, SDKs y APIs etiquetan un fallo específico: el texto que enviaste, más el espacio necesario para una respuesta, es mayor de lo que el modelo puede contener en una petición. La redacción del mensaje varía entre herramientas, así que lee el cuerpo completo del error que muestra tu cliente en lugar de confiar en un nombre. La causa siempre es la misma.

En esta API la ventana de contexto es de 100.000 tokens, y ese número cubre el prompt y la finalización juntos. Si tu prompt usa 95.000 tokens, quedan como máximo unos 5.000 para la respuesta. Si también configuras max_tokens a 8.000, la petición pide más de lo que permite la ventana. El campo max_tokens es opcional y, si lo omites, la respuesta simplemente usa el espacio restante.

Una petición que falla de esta manera devuelve un error en lugar de una finalización. Las peticiones fallidas no se cobran, así que alcanzar el límite no te cuesta nada excepto el viaje de ida y vuelta. La solución está de tu lado: envía menos o pide menos.

¿Qué tamaño tienen 100.000 tokens?

Un token es un fragmento de texto, a menudo una palabra corta o parte de una más larga. Para prosa inglesa ordinaria, una regla aproximada es un token por cada cuatro caracteres, o aproximadamente tres cuartas partes de una palabra. Por esa regla, 100.000 tokens son alrededor de 75.000 palabras, que es una novela gruesa. El código, JSON, tablas y texto en otros idiomas se dividen en más tokens por carácter, por lo que la misma cantidad de caracteres puede ser mucho mayor. Trata cualquier regla práctica como un número de planificación, no como una garantía.

El conteo exacto proviene del tokenizador propio del modelo. La API informa el uso real en la respuesta: el objeto usage lista los tokens de prompt y finalización, y una respuesta en streaming envía el uso al final. Ese es el dato más fiable que tienes, así que regístralo.

ContenidoTamaño aproximado
Un mensaje de chat de dos oraciones40 a 60 tokens
Una página de texto en inglés, 500 palabrasaproximadamente 670 tokens
Un documento de 10.000 palabrasaproximadamente 13.000 tokens
Un volcado JSON de 3 MBa menudo más de 100.000 tokens, demasiado grande para enviarlo sin procesar

El cuerpo de la petición también tiene un límite de tamaño de 8 MB, que es un límite separado del de tokens. Las entradas grandes pueden fallar por cualquiera de los dos, y el límite de tokens es casi siempre el primero que alcanzas.

Por qué las aplicaciones de chat alcanzan el límite

La API no mantiene memoria entre llamadas. Para continuar una conversación, tu código envía toda la lista de mensajes cada vez. Cada turno añade el mensaje del usuario y la respuesta, por lo que el prompt crece con cada intercambio. Un bot que funciona bien durante una hora y luego empieza a fallar es la señal clásica.

Lo mismo ocurre con los agentes. Cada resultado de herramienta se añade al historial, y una función que devuelve un registro grande puede añadir miles de tokens en un solo paso. Las configuraciones de recuperación añaden una tercera fuente: si pegas veinte fragmentos de documento en cada prompt, el costo base por petición ya es grande antes de que exista cualquier historial.

Antes de arreglar algo, descubre cuál de los tres está creciendo. Imprime el conteo de tokens del prompt desde usage después de cada llamada. Si sube aproximadamente la misma cantidad cada turno, es el historial. Si salta después de pasos específicos, es la salida de la herramienta o el texto recuperado.

Recorta el historial antes de enviarlo

La solución fiable más simple es una función que elimine los turnos más antiguos hasta que la estimación se ajuste a un presupuesto. Mantén siempre el mensaje del sistema y mantén siempre el último mensaje del usuario. El presupuesto debe dejar espacio para la respuesta, así que usa algo como 80.000 tokens para el prompt y deja que el resto sea espacio para la finalización.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

Mantén los turnos de usuario y asistente en pares cuando puedas; eliminar la mitad de un par puede confundir al modelo. Los mensajes de herramientas son similares: un mensaje role: "tool" debe permanecer con el turno del asistente que lo solicitó, así que elimínalos juntos. Debido a que la estimación es aproximada, un margen de seguridad del 20 por ciento entre tu presupuesto y la ventana real es cómodo.

Mejores opciones que eliminar turnos antiguos

Resumir, luego continuar

Cuando el historial supera un umbral, envía la mitad más antigua al modelo con una instrucción para resumirla en unos cientos de palabras, luego reemplaza esos turnos con el resumen como un mensaje de sistema o usuario. Pierdes detalle pero mantienes la conversación. Ejecuta este paso fuera del camino de respuesta en vivo para que el usuario no tenga que esperar.

Fijar los hechos que deben sobrevivir

Mantén un pequeño bloque de notas duraderas, como nombres, decisiones y configuraciones, e insértalo en la parte superior de cada petición. Esto funciona mejor que esperar que un turno antiguo aún esté visible.

Reduce lo que envías

Recorta los resultados de herramientas a los campos que importan. Recupera menos fragmentos y corta cada uno a los párrafos relevantes. Para un documento muy largo, divídelo en partes, procesa cada parte y combina los resultados en una llamada final corta.

Configura max_tokens deliberadamente

Si las respuestas suelen ser cortas, limita max_tokens a un valor que se ajuste a tu producto. Un límite protege el presupuesto, pero un límite demasiado bajo corta las respuestas a mitad de frase, así que mira primero las longitudes reales de tus respuestas en los registros.

Recortar también ahorra dinero

Los tokens de entrada cuestan $0,15 por 1M, los de salida $0,50 por 1M, cobrados del crédito prepago. Como el chat reenvía el historial, el costo por conversación crece más rápido que su longitud. Toma un chat donde cada intercambio añade 500 tokens al historial y la conversación tiene 100 turnos.

  • Sin recorte, el turno n envía 500 x n tokens. La suma en 100 turnos es 500 x 5.050 = 2.525.000 tokens de entrada, que cuestan 2,525 x $0,15 = $0,379.
  • Con un límite de 20.000 tokens, los primeros 40 turnos son iguales (500 x 820 = 410.000 tokens). Los 60 turnos restantes envían 20.000 cada uno, lo que es 1.200.000. El total es 1.610.000 tokens, o 1,61 x $0,15 = $0,242.

El límite ahorra un tercio aquí, y la diferencia se amplía a medida que las conversaciones son más largas. En el extremo, un prompt completo de 100.000 tokens cuesta 0,1 x $0,15 = $0,015 por petición. Eso es barato por sí solo, pero se acumula en un bot que atiende a muchos usuarios. Los detalles de precios y los bonos de recarga están en la página de precios, y el crédito no caduca.

Manejo del error en código

Incluso con recorte, planifica un fallo. Captura el error de la API, verifica si el mensaje apunta a la longitud del contexto, reduce la petición y reintenta una vez. No reintentes la misma petición idéntica, ya que fallará de la misma manera.

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

Verifica el código de estado y el mensaje reales que recibe tu cliente para una petición sobredimensionada y ajusta la prueba; la coincidencia de cadena anterior es un punto de partida. Los límites de velocidad son separados: HTTP 429 con rate_limited o concurrency significa demasiadas peticiones, no demasiados tokens, y 429 con Retry-After: 5 significa una sobrecarga temporal. La documentación lista los campos de la petición, la explicación sobre modelos sin censura cubre qué es el modelo, y puedes obtener una clave para probar todo esto con números de uso reales.

Preguntas y respuestas

¿Cuántos tokens puedo enviar en una petición?

La ventana es de 100.000 tokens, compartida entre tu prompt y la respuesta. Lo que use el prompt ya no estará disponible para la respuesta.

¿Me cobran si una petición supera la ventana?

No. Las peticiones fallidas no se cobran. Pagas por token solo por las peticiones que se completan.

¿Tengo que configurar max_tokens?

No, es opcional. Sin él, la respuesta puede usar el espacio restante en la ventana. Configúralo si quieres un límite estricto en la longitud y el costo de la respuesta.

¿Cómo cuento los tokens con exactitud?

Lee el objeto usage en cada respuesta, que informa de los tokens reales de prompt y respuesta. Para estimaciones antes de enviar, una regla de cuatro caracteres por token funciona para inglés.

Tu clave está a un formulario de distancia

Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.

Obtener clave de API