Réponse courte
Pour la plupart des particuliers et petites équipes, une API est moins chère jusqu’à ce que le trafic soit élevé et constant. Pour les décisions d’auto-hébergement LLM vs API, la variable décisive est l’utilisation : un GPU que vous payez 24h/24 coûte le même montant qu’il serve un million de tokens ou dix. Une API au paiement à l’usage facture uniquement les tokens utilisés.
L’hébergement autonome a du sens lorsque vous devez faire du fine-tuning, lorsque les données ne peuvent pas quitter votre réseau, lorsque vous devez exécuter un modèle spécifique, ou lorsque vous avez un volume lourd et stable et quelqu’un pour gérer la machine. Une API a du sens lorsque vous voulez être en marche en un après-midi, lorsque l’utilisation est irrégulière, ou lorsqu’une seule personne s’occupe de tout.
Le reste de cet article donne des chiffres que vous pouvez reproduire. Il ne cite pas les prix du matériel ou du cloud, car ils évoluent ; vous ajouterez votre propre estimation aux formules.
Le matériel dont un modèle a réellement besoin
La principale contrainte est la mémoire GPU. Les poids seuls prennent environ parameters × bytes per parameter :
| Taille du modèle | 16-bit (2 octets) | 8-bit (1 octet) | 4-bit (0,5 octets) |
|---|---|---|---|
| 8B | 16 Go | 8 Go | 4 Go |
| 32B | 64 Go | 32 Go | 16 Go |
| 70B | 140 Go | 70 Go | 35 Go |
C’est le plancher. Vous avez aussi besoin de mémoire pour le cache d’attention, qui croît avec la longueur du contexte et le nombre de requêtes simultanées, plus les frais généraux d’exécution. Servir un contexte de 100 000 tokens à plusieurs utilisateurs en même temps peut prendre bien plus de mémoire que les poids, et les nombres dépendent de l’architecture du modèle. Les modèles plus petits quantifiés s’exécutent sur un seul GPU grand public ; les plus gros nécessitent plusieurs GPUs ou un nœud loué, plus un serveur d’inférence tel que vLLM ou llama.cpp pour regrouper les requêtes.
La quantification en 4-bit économise de la mémoire à un certain coût en qualité, et la perte varie selon le modèle et la tâche. Vous devez la tester sur vos propres prompts.
Le travail non inclus dans le devis matériel
Le matériel est le coût visible. La partie moins visible est les opérations :
- Configuration. Pilotes, versions CUDA, serveur d’inférence, couche compatible OpenAI, authentification et proxy inverse. Une première configuration fonctionnelle prend souvent une journée ou plus ; une configuration de production prend plus de temps.
- Réglage. Les tailles de batch, les limites de contexte, les paramètres de mémoire et les valeurs par défaut d’échantillonnage décident si vous servez 2 utilisateurs ou 20.
- Mises à jour. Les nouvelles versions de modèles, les correctifs de sécurité et les mises à jour du serveur d'inférence arrivent régulièrement et peuvent parfois tout casser.
- Surveillance. Quelqu’un doit remarquer quand le GPU manque de mémoire la nuit.
- Temps d’inactivité. Une machine inutilisée continue de coûter de l’électricité ou du loyer.
Évaluez votre temps à l’heure et ajoutez environ quatre à huit heures par mois de maintenance. Ce chiffre pèse souvent plus lourd que la facture d’électricité pour les petits déploiements.
Ce que coûte l’API pour le même volume
Cette API facture 0,15 $ par 1 M de tokens d’entrée et 0,50 $ par 1 M de tokens de sortie, à partir d’un crédit prépayé qui n’expire jamais. Il n’y a pas d’abonnement, et les requêtes échouées ou refusées ne sont pas facturées. Exemples concrets, mois par mois :
| Tokens mensuels (entrée / sortie) | Coût d'entrée | Coût de sortie | Total |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1,000M / 200M | $150,00 | $100,00 | $250,00 |
Pour un ratio entrée-sortie de 5 pour 1, 6M de tokens coûtent 5 × $0,15 + 1 × $0,50 = $1,25, soit environ $0,21 par million de tokens mixés. Votre mix sera différent, donc recalculez-le avec vos propres moyennes. Consultez la page des tarifs pour les montants de rechargement et les bonus.
Trouvez votre point mort
Additionnez tout ce que vous paierez chaque mois pour l’auto-hébergement : coût du matériel divisé par les mois d’utilisation, ou les frais de location ; électricité ; et la valeur de vos heures de maintenance. Appelez le total F. Ensuite :
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Chaque 100 $ de coût fixe mensuel équivaut à environ 480 M de tokens sur l’API à ce mélange. Si votre trafic réel est bien inférieur au chiffre de seuil de rentabilité, ce qui est vrai pour la plupart des projets parallèles, des outils internes et des petits produits, l’API est moins chère. S’il est bien supérieur et constant, posséder la machine peut l’emporter. Vérifiez cette comparaison avec les chiffres actuels, car les deux parties évoluent.
N'oubliez pas que la capacité auto-hébergée est aussi un plafond. Une machine ne peut servir qu'un certain nombre de requêtes à la fois. Sur une clé complète ici, 8 requêtes simultanées et 300 par minute sont autorisées, et la capacité derrière celles-ci n'est pas votre problème.
Ce à quoi vous renoncez avec une API hébergée
Une API n’est pas un repas gratuit, et certaines limites valent la peine d’être énoncées clairement.
- Un seul modèle. Ce service exécute un seul modèle à poids ouverts d’un fournisseur indépendant, identifiant du modèle
uncensored. Vous ne pouvez pas le remplacer ou charger vos propres poids. - Texte uniquement : pas d’images, audio, vidéo ni embeddings, et pas de fine-tuning.
- Fenêtre de contexte de 100 000 tokens, prompt plus complétion.
- Vos prompts quittent votre réseau. Ils ne sont pas utilisés pour l’entraînement, mais si la politique exige un traitement sur site, l’auto-hébergement est la réponse.
En retour, vous obtenez le streaming, l’appel d’outils et le mode JSON derrière l’interface OpenAI standard, donc le code existant fonctionne avec une URL de base modifiée. Les frameworks aident aussi ; notre note sur l’utilisation des modèles open-source avec LangChain montre comment pointer un framework vers un endpoint comme celui-ci.
Un moyen peu coûteux de décider
N’achetez pas de matériel pour savoir si vous en avez besoin. Exécutez votre charge de travail réelle via une API d’abord, mesurez les tokens par mois, et seulement ensuite comparez avec un devis d’hébergement. Un essai en un clic de $0,50 est disponible sur la page de clé API, et l’appel est l’appel OpenAI habituel :
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
La réponse inclut un objet d’utilisation et un en-tête X-Balance-USD, donc une semaine d’utilisation normale vous donne un chiffre mensuel réel. Si ce chiffre se rapproche du seuil de rentabilité, vous avez les données pour décider. Les détails de configuration sont dans la documentation. Pour comprendre le type de modèle concerné, consultez ce qu’est un modèle d’IA sans censure.

