FR ▾

Uncensored Model HubAuto-hébergement LLM vs API : coût, effort et point mort

Auto-hébergement LLM vs API : coût, effort et point mort

La question de l’hébergement autonome d’un LLM vs l’API relève surtout de l’arithmétique et d’une analyse honnête de votre propre temps. L’exécution d’un modèle par vous-même offre du contrôle et une facture fixe ; une API vous offre zéro configuration et une facture qui suit l’utilisation. Voici comment déterminer laquelle l’emporte pour votre volume.

Mis à jour le

Balance pesant un rack serveur contre un nœud cloud et des pièces, comparant l’auto-hébergement à une API
Chaînes de verre reliant des blocs modulaires à un cube de serveur, illustrant LangChain avec une API de modèle à poids ouverts

Points clés

  1. Un modèle a besoin d'environ 0,5 octet par paramètre en 4 bits et 2 octets en 16 bits, avant le cache et les frais généraux, donc un modèle de 70B veut environ 35 Go à 140 Go de mémoire GPU.
  2. À $0,15 par 1M d’entrée et $0,50 par 1M de sortie, 100M de tokens d’entrée plus 20M de tokens de sortie par mois coûtent $25.
  3. L’hébergement autonome l’emporte sur le fine-tuning, l’utilisation hors ligne et un volume très élevé et stable ; une API l’emporte sur un trafic faible ou irrégulier.
  4. Comptez vos propres heures : les mises à jour, les pilotes et la surveillance font partie du coût.

Réponse courte

Pour la plupart des particuliers et petites équipes, une API est moins chère jusqu’à ce que le trafic soit élevé et constant. Pour les décisions d’auto-hébergement LLM vs API, la variable décisive est l’utilisation : un GPU que vous payez 24h/24 coûte le même montant qu’il serve un million de tokens ou dix. Une API au paiement à l’usage facture uniquement les tokens utilisés.

L’hébergement autonome a du sens lorsque vous devez faire du fine-tuning, lorsque les données ne peuvent pas quitter votre réseau, lorsque vous devez exécuter un modèle spécifique, ou lorsque vous avez un volume lourd et stable et quelqu’un pour gérer la machine. Une API a du sens lorsque vous voulez être en marche en un après-midi, lorsque l’utilisation est irrégulière, ou lorsqu’une seule personne s’occupe de tout.

Le reste de cet article donne des chiffres que vous pouvez reproduire. Il ne cite pas les prix du matériel ou du cloud, car ils évoluent ; vous ajouterez votre propre estimation aux formules.

Le matériel dont un modèle a réellement besoin

La principale contrainte est la mémoire GPU. Les poids seuls prennent environ parameters × bytes per parameter :

Taille du modèle16-bit (2 octets)8-bit (1 octet)4-bit (0,5 octets)
8B16 Go8 Go4 Go
32B64 Go32 Go16 Go
70B140 Go70 Go35 Go

C’est le plancher. Vous avez aussi besoin de mémoire pour le cache d’attention, qui croît avec la longueur du contexte et le nombre de requêtes simultanées, plus les frais généraux d’exécution. Servir un contexte de 100 000 tokens à plusieurs utilisateurs en même temps peut prendre bien plus de mémoire que les poids, et les nombres dépendent de l’architecture du modèle. Les modèles plus petits quantifiés s’exécutent sur un seul GPU grand public ; les plus gros nécessitent plusieurs GPUs ou un nœud loué, plus un serveur d’inférence tel que vLLM ou llama.cpp pour regrouper les requêtes.

La quantification en 4-bit économise de la mémoire à un certain coût en qualité, et la perte varie selon le modèle et la tâche. Vous devez la tester sur vos propres prompts.

Le travail non inclus dans le devis matériel

Le matériel est le coût visible. La partie moins visible est les opérations :

  • Configuration. Pilotes, versions CUDA, serveur d’inférence, couche compatible OpenAI, authentification et proxy inverse. Une première configuration fonctionnelle prend souvent une journée ou plus ; une configuration de production prend plus de temps.
  • Réglage. Les tailles de batch, les limites de contexte, les paramètres de mémoire et les valeurs par défaut d’échantillonnage décident si vous servez 2 utilisateurs ou 20.
  • Mises à jour. Les nouvelles versions de modèles, les correctifs de sécurité et les mises à jour du serveur d'inférence arrivent régulièrement et peuvent parfois tout casser.
  • Surveillance. Quelqu’un doit remarquer quand le GPU manque de mémoire la nuit.
  • Temps d’inactivité. Une machine inutilisée continue de coûter de l’électricité ou du loyer.

Évaluez votre temps à l’heure et ajoutez environ quatre à huit heures par mois de maintenance. Ce chiffre pèse souvent plus lourd que la facture d’électricité pour les petits déploiements.

Ce que coûte l’API pour le même volume

Cette API facture 0,15 $ par 1 M de tokens d’entrée et 0,50 $ par 1 M de tokens de sortie, à partir d’un crédit prépayé qui n’expire jamais. Il n’y a pas d’abonnement, et les requêtes échouées ou refusées ne sont pas facturées. Exemples concrets, mois par mois :

Tokens mensuels (entrée / sortie)Coût d'entréeCoût de sortieTotal
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1,000M / 200M$150,00$100,00$250,00

Pour un ratio entrée-sortie de 5 pour 1, 6M de tokens coûtent 5 × $0,15 + 1 × $0,50 = $1,25, soit environ $0,21 par million de tokens mixés. Votre mix sera différent, donc recalculez-le avec vos propres moyennes. Consultez la page des tarifs pour les montants de rechargement et les bonus.

Trouvez votre point mort

Additionnez tout ce que vous paierez chaque mois pour l’auto-hébergement : coût du matériel divisé par les mois d’utilisation, ou les frais de location ; électricité ; et la valeur de vos heures de maintenance. Appelez le total F. Ensuite :

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Chaque 100 $ de coût fixe mensuel équivaut à environ 480 M de tokens sur l’API à ce mélange. Si votre trafic réel est bien inférieur au chiffre de seuil de rentabilité, ce qui est vrai pour la plupart des projets parallèles, des outils internes et des petits produits, l’API est moins chère. S’il est bien supérieur et constant, posséder la machine peut l’emporter. Vérifiez cette comparaison avec les chiffres actuels, car les deux parties évoluent.

N'oubliez pas que la capacité auto-hébergée est aussi un plafond. Une machine ne peut servir qu'un certain nombre de requêtes à la fois. Sur une clé complète ici, 8 requêtes simultanées et 300 par minute sont autorisées, et la capacité derrière celles-ci n'est pas votre problème.

Ce à quoi vous renoncez avec une API hébergée

Une API n’est pas un repas gratuit, et certaines limites valent la peine d’être énoncées clairement.

  • Un seul modèle. Ce service exécute un seul modèle à poids ouverts d’un fournisseur indépendant, identifiant du modèle uncensored. Vous ne pouvez pas le remplacer ou charger vos propres poids.
  • Texte uniquement : pas d’images, audio, vidéo ni embeddings, et pas de fine-tuning.
  • Fenêtre de contexte de 100 000 tokens, prompt plus complétion.
  • Vos prompts quittent votre réseau. Ils ne sont pas utilisés pour l’entraînement, mais si la politique exige un traitement sur site, l’auto-hébergement est la réponse.

En retour, vous obtenez le streaming, l’appel d’outils et le mode JSON derrière l’interface OpenAI standard, donc le code existant fonctionne avec une URL de base modifiée. Les frameworks aident aussi ; notre note sur l’utilisation des modèles open-source avec LangChain montre comment pointer un framework vers un endpoint comme celui-ci.

Un moyen peu coûteux de décider

N’achetez pas de matériel pour savoir si vous en avez besoin. Exécutez votre charge de travail réelle via une API d’abord, mesurez les tokens par mois, et seulement ensuite comparez avec un devis d’hébergement. Un essai en un clic de $0,50 est disponible sur la page de clé API, et l’appel est l’appel OpenAI habituel :

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

La réponse inclut un objet d’utilisation et un en-tête X-Balance-USD, donc une semaine d’utilisation normale vous donne un chiffre mensuel réel. Si ce chiffre se rapproche du seuil de rentabilité, vous avez les données pour décider. Les détails de configuration sont dans la documentation. Pour comprendre le type de modèle concerné, consultez ce qu’est un modèle d’IA sans censure.

Questions et réponses

L’auto-hébergement d’un LLM est-il moins cher qu’une API ?

Uniquement à un volume élevé et constant. Un GPU coûte le même prix en idle ou en charge, tandis qu'une API facture par token. Calculez votre seuil de rentabilité avec la formule ci-dessus.

De combien de mémoire GPU ai-je besoin ?

Les poids prennent environ 2 octets par paramètre en 16 bits et 0,5 octet en 4 bits, donc un modèle de 70B nécessite environ 140 Go ou 35 Go, plus la mémoire pour le cache contextuel.

Puis-je affiner ce modèle via cette API ?

Non. Il s'agit d'une inférence textuelle uniquement, sans affinage ni représentations vectorielles. Si vous avez besoin de poids personnalisés, l'auto-hébergement est la bonne voie.

Combien coûte l'API ?

0,15 $ par 1M de tokens d'entrée et 0,50 $ par 1M de tokens de sortie, en crédit prépayé, sans abonnement, et les requêtes échouées ne sont pas facturées.

Entraînez-vous sur mes invites ?

Non. Les prompts ne sont pas utilisés pour l'entraînement.

Votre clé n'est qu'à un formulaire d'ici

Créez un compte, copiez la clé, modifiez l'URL de base. C'est tout ce qu'il faut configurer.

Obtenir une clé API