Kort antwoord
Voor de meeste individuen en kleine teams is een API goedkoper totdat het verzoekvolume hoog en constant is. Voor beslissingen over zelf hosten van LLM vs API is de doorslaggevende variabele het gebruik: een GPU waar je de hele dag voor betaalt kost hetzelfde, of hij nu een miljoen tokens verwerkt of tien. Een API op tokenbasis rekent alleen voor gebruikte tokens.
Zelf hosten is zinvol als je moet fine-tunen, als data je netwerk niet mag verlaten, als je een specifiek model moet draaien, of als je stabiel zwaar volume hebt en iemand hebt om de machine te beheren. Een API is zinvol als je binnen een middag operationeel wilt zijn, als het gebruik ongelijkmatig is, of als één persoon alles doet.
De rest van dit artikel geeft getallen die je kunt reproduceren. Het citeert geen hardware- of cloudprijzen, omdat die veranderen; je voegt je eigen prijsindicatie toe aan de formules.
Welke hardware een model echt nodig heeft
De belangrijkste beperking is GPU-geheugen. Alleen de weights kosten ongeveer parameters × bytes per parameter:
| Modelgrootte | 16-bit (2 bytes) | 8-bit (1 byte) | 4-bit (0,5 bytes) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Dat is de bodem. Je hebt ook geheugen nodig voor de attention cache, die groeit met de contextlengte en het aantal gelijktijdige verzoeken, plus runtime-overhead. Het serveren van een context van 100.000 tokens aan meerdere gebruikers tegelijk kan veel meer geheugen vereisen dan de weights, en de getallen zijn afhankelijk van de architectuur van het model. Kleinere gekwantiseerde modellen draaien op een enkele consumenten-GPU; grote modellen vereisen meerdere GPU's of een gehuurde node, plus een inference server zoals vLLM of llama.cpp om verzoeken te bundelen.
Kwantiseren naar 4-bit bespaart geheugen tegen een zekere kost aan kwaliteit, en het verlies varieert per model en taak. Je moet het testen op je eigen prompts.
Het werk dat niet in de hardware-offerte zit
Hardware is de zichtbare kost. Het minder zichtbare deel is operaties:
- Setup. Drivers, CUDA-versies, een inference server, een OpenAI-compatibele laag, authenticatie en een reverse proxy. Een eerste werkende setup duurt vaak een dag of meer; een productieversie duurt langer.
- Tuning. Batchgroottes, contextlimieten, geheugeninstellingen en samplingstandaarden bepalen of je 2 gebruikers of 20 bedient.
- Updates. Nieuwe modelversies, beveiligingspatches en releases van de inference server komen regelmatig binnen en breken soms dingen.
- Monitoring. Iemand moet merken wanneer de GPU 's nachts het geheugen uit is.
- Wachttijd. Een machine die ongebruikt blijft, kost nog steeds stroom of huur.
Geef een uurwaarde aan je tijd en voeg ongeveer vier tot acht uur onderhoud per maand toe. Dit aantal weegt vaak zwaarder dan de elektriciteitsrekening voor kleine implementaties.
Wat de API kost voor hetzelfde volume
Deze API rekent $0,15 per 1M input tokens en $0,50 per 1M output tokens, van prepaid tegoed dat niet verloopt. Er is geen abonnement, en mislukte of geweigerde verzoeken worden niet in rekening gebracht. Uitgewerkte voorbeelden, maand per maand:
| Maandelijkse tokens (in / out) | Input kosten | Output kosten | Totaal |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1.000M / 200M | $150,00 | $100,00 | $250,00 |
Voor een 5-op-1 input-to-output mix, kosten 6M tokens 5 × $0,15 + 1 × $0,50 = $1,25, of ongeveer $0,21 per miljoen tokens gemengd. Jouw mix verschilt, dus reken het opnieuw uit met je eigen gemiddelden. Zie de prijzenpagina voor top-up-bedragen en bonussen.
Vind je break-even punt
Tel alles op wat je elke maand zou betalen om te zelf hosten: hardwarekosten gedeeld door de maanden dat je het gebruikt, of de huurprijs; stroom; en de waarde van je onderhoudsuren. Noem het totaal F. Dan:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Elke $100 aan maandelijkse vaste kosten komt overeen met ongeveer 480M tokens op de API bij die mix. Als je echte verkeer ver onder het break-evenfiguur ligt, wat waar is voor de meeste side projects, interne tools en kleine producten, is de API goedkoper. Als het er ver boven is en constant, kan het bezitten van de machine winnen. Controleer die vergelijking met huidige getallen, omdat beide kanten veranderen.
Onthoud dat de capaciteit van self-hosted ook een plafond is. Eén machine verwerkt maar een bepaald aantal verzoeken tegelijk. Op een volledige key hier zijn 8 gelijktijdige verzoeken en 300 per minuut toegestaan, en de capaciteit daarachter is niet jouw probleem.
Wat je opgeeft met een gehoste API
Een API is geen gratis lunch, en sommige limieten zijn de moeite waard om duidelijk te stellen.
- Eén model. Deze service draait een enkel open-weight model van een onafhankelijke provider, model ID
uncensored. Je kunt het niet wisselen of je eigen weights laden. - Alleen tekst: geen afbeeldingen, audio, video of embeddings, en geen fine-tuning.
- Context van 100.000 tokens, prompt plus completion.
- Je prompts verlaten je netwerk. Ze worden niet gebruikt voor training, maar als beleid on-premises verwerking vereist, is zelf hosten het antwoord.
Als tegenprestation krijg je streaming, tool calling en JSON-modus achter de standaard OpenAI-interface, zodat bestaande code werkt met een gewijzigde base URL. Frameworks helpen ook; onze notitie over het gebruik van open-source modellen met LangChain toont hoe je er een op een endpoint zoals deze kunt wijzen.
Een goedkope manier om te beslissen
Koop geen hardware om uit te vinden of je die nodig hebt. Voer je echte werkbelasting eerst via een API uit, meet het aantal tokens per maand en vergelijk daarna pas met een hosting-offerte. Een trial van $0,50 met één klik is beschikbaar op de API-sleutelpagina, en het verzoek is het gebruikelijke OpenAI-verzoek:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
De response bevat een usage-object en een X-Balance-USD-header, dus een week normaal gebruik geeft je een reëel maandbedrag. Als dat bedrag uitkomt rond het break-evenpoint, heb je de gegevens om een beslissing te nemen. Details over de setup staan in de documentatie. Voor achtergrondinformatie over het type model dat hierbij betrokken is, zie wat een ongecensureerd AI-model is.

