Respuesta corta
Para la mayoría de las personas y equipos pequeños, una API es más barata hasta que el tráfico es alto y constante. Para las decisiones de autoalojamiento de LLM frente a API, la variable decisiva es la utilización: una GPU que pagas las 24 horas cuesta lo mismo si sirve un millón de tokens o diez. Una API de pago por token solo cobra por los tokens utilizados.
El autoalojamiento tiene sentido cuando necesitas hacer fine-tuning, cuando los datos no pueden salir de tu red, cuando debes ejecutar un modelo específico o cuando tienes volumen pesado constante y alguien para operar la máquina. Una API tiene sentido cuando quieres estar funcionando en una tarde, cuando el uso es irregular o cuando una persona hace todo.
El resto de este artículo da números que puedes reproducir. No cita precios de hardware o nube, porque esos varían; tú añadirás tu propio presupuesto a las fórmulas.
Qué hardware necesita realmente un modelo
La principal limitación es la memoria GPU. Los pesos solos ocupan aproximadamente parameters × bytes per parameter:
| Tamaño del modelo | 16 bits (2 bytes) | 8 bits (1 byte) | 4 bits (0,5 bytes) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Ese es el mínimo. También necesitas memoria para la caché de atención, que crece con la longitud del contexto y con el número de peticiones simultáneas, más sobrecarga de ejecución. Servir un contexto de 100.000 tokens a varios usuarios a la vez puede requerir mucha más memoria que los pesos, y los números dependen de la arquitectura del modelo. Los modelos cuantizados más pequeños se ejecutan en una GPU de consumo; los grandes necesitan varias GPUs o un nodo alquilado, más un servidor de inferencia como vLLM o llama.cpp para agrupar peticiones.
Cuantizar a 4 bits ahorra memoria a costa de calidad, y la pérdida varía según el modelo y la tarea. Tienes que probarlo con tus propios prompts.
El trabajo que no está en el presupuesto de hardware
El hardware es el coste visible. La parte menos visible es la operación:
- Configuración. Controladores, versiones de CUDA, un servidor de inferencia, una capa compatible con OpenAI, autenticación y un proxy inverso. Una primera configuración de funcionamiento suele tardar un día o más; una de producción tarda más.
- Ajuste. Los tamaños de batch, límites de contexto, ajustes de memoria y valores predeterminados de muestreo determinan si sirves a 2 o 20 usuarios.
- Actualizaciones. Las nuevas versiones de modelos, parches de seguridad y lanzamientos del servidor de inferencia llegan regularmente y a veces causan problemas.
- Monitoreo. Alguien debe notar cuando la GPU se queda sin memoria por la noche.
- Tiempo inactivo. Una máquina que está sin uso aún cuesta electricidad o alquiler.
Asigna un valor por hora a tu tiempo y añade aproximadamente cuatro a ocho horas al mes de mantenimiento. Ese número a menudo supera la factura de electricidad para implementaciones pequeñas.
Lo que cuesta la API para el mismo volumen
Esta API cobra $0,15 por 1M de tokens de entrada y $0,50 por 1M de tokens de salida, desde un crédito prepago que no caduca. No hay suscripción y las peticiones fallidas o rechazadas no se cobran. Ejemplos resueltos, mes a mes:
| Tokens mensuales (entrada / salida) | Costo de entrada | Costo de salida | Total |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1,000M / 200M | $150,00 | $100,00 | $250,00 |
Para una mezcla de entrada-salida de 5 a 1, 6M de tokens cuestan 5 × $0,15 + 1 × $0,50 = $1,25, o unos $0,21 por millón de tokens combinados. Tu mezcla será diferente, así que recálcula con tus propios promedios. Consulta la página de precios para ver las cantidades de recarga y bonificaciones.
Encuentra tu punto de equilibrio
Suma todo lo que pagarías cada mes para autoalojar: coste de hardware dividido por los meses que lo usarás, o la cuota de alquiler; energía; y el valor de tus horas de mantenimiento. Llama al total F. Entonces:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Cada $100 de costo fijo mensual equivalen a unos 480M de tokens en la API con esa mezcla. Si tu tráfico real está muy por debajo de la cifra de equilibrio, lo cual es cierto para la mayoría de proyectos secundarios, herramientas internas y productos pequeños, la API es más barata. Si es muy superior y constante, poseer la máquina puede ser la mejor opción. Verifica esa comparación con números actuales, porque ambos lados cambian.
Recuerda que la capacidad de autoalojamiento también es un techo. Una máquina solo sirve una cierta cantidad de peticiones a la vez. Con una clave completa aquí, se permiten 8 peticiones concurrentes y 300 por minuto, y la capacidad detrás de ellas no es tu problema.
Lo que renuncias con una API alojada
Una API no es un almuerzo gratis, y algunos límites vale la pena declararlos claramente.
- Un modelo. Este servicio ejecuta un único modelo de pesos abiertos de un proveedor independiente, ID del modelo
uncensored. No puedes cambiarlo ni cargar tus propios pesos. - Solo texto: sin imágenes, audio, video ni embeddings, y sin fine-tuning.
- Ventana de contexto de 100.000 tokens, prompt más completado.
- Tus prompts salen de tu red. No se utilizan para el entrenamiento, pero si la política requiere procesamiento en las instalaciones, el autoalojamiento es la respuesta.
A cambio obtienes streaming, llamadas a funciones y modo JSON detrás de la interfaz estándar de OpenAI, por lo que el código existente funciona con una URL base cambiada. Los frameworks también ayudan; nuestra nota sobre el uso de modelos de código abierto con LangChain muestra cómo apuntar uno a un endpoint como este.
Una forma barata de decidir
No compres hardware para averiguar si lo necesitas. Ejecuta tu carga de trabajo real a través de una API primero, mide los tokens por mes y solo entonces compara con un presupuesto de alojamiento. Hay una prueba con un solo clic de $0,50 disponible en la página de clave de API, y la llamada es la habitual de OpenAI:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
La respuesta incluye un objeto de uso y una cabecera X-Balance-USD, así que una semana de uso normal te da una cifra mensual real. Si esa cifra termina cerca del equilibrio, tienes los datos para decidir. Los detalles de configuración están en la documentación. Para información de fondo sobre el tipo de modelo implicado, consulta qué es un modelo de IA sin censura.

