NL ▾

Uncensored Model HubZelf hosten van LLM vs API: Kosten, inspanning en break-even

Zelf hosten van LLM vs API: Kosten, inspanning en break-even

De vraag tussen zelf een LLM hosten versus een API is vooral rekenwerk en een eerlijke blik op je eigen tijd. Een model zelf draaien geeft controle en een vaste rekening; een API geeft je geen configuratie en een rekening die volgt op het gebruik. Hier is hoe je kunt uitrekenen welke optie wint voor jouw volume.

Bijgewerkt

Weegschaal die een serverrek weegt tegen een cloud node en munten, die zelf hosten vergelijkt met een API
Glass chain-koppelingen die modulaire blokken verbinden met een servercube, illustratie van LangChain met een open-weight model API

Belangrijkste punten

  1. Een model heeft ongeveer 0,5 bytes per parameter nodig bij 4-bit en 2 bytes bij 16-bit, vóór cache en overhead, dus een 70B-model heeft ongeveer 35 GB tot 140 GB aan GPU-geheugen nodig.
  2. Bij $0,15 per 1M input en $0,50 per 1M output, kosten 100M input plus 20M output tokens per maand $25.
  3. Zelf hosten wint bij fine-tuning, offline gebruik en zeer hoog stabiel volume; een API wint bij laag of piekverkeer.
  4. Tel je eigen uren: updates, drivers en monitoring zijn onderdeel van de kosten.

Kort antwoord

Voor de meeste individuen en kleine teams is een API goedkoper totdat het verzoekvolume hoog en constant is. Voor beslissingen over zelf hosten van LLM vs API is de doorslaggevende variabele het gebruik: een GPU waar je de hele dag voor betaalt kost hetzelfde, of hij nu een miljoen tokens verwerkt of tien. Een API op tokenbasis rekent alleen voor gebruikte tokens.

Zelf hosten is zinvol als je moet fine-tunen, als data je netwerk niet mag verlaten, als je een specifiek model moet draaien, of als je stabiel zwaar volume hebt en iemand hebt om de machine te beheren. Een API is zinvol als je binnen een middag operationeel wilt zijn, als het gebruik ongelijkmatig is, of als één persoon alles doet.

De rest van dit artikel geeft getallen die je kunt reproduceren. Het citeert geen hardware- of cloudprijzen, omdat die veranderen; je voegt je eigen prijsindicatie toe aan de formules.

Welke hardware een model echt nodig heeft

De belangrijkste beperking is GPU-geheugen. Alleen de weights kosten ongeveer parameters × bytes per parameter:

Modelgrootte16-bit (2 bytes)8-bit (1 byte)4-bit (0,5 bytes)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Dat is de bodem. Je hebt ook geheugen nodig voor de attention cache, die groeit met de contextlengte en het aantal gelijktijdige verzoeken, plus runtime-overhead. Het serveren van een context van 100.000 tokens aan meerdere gebruikers tegelijk kan veel meer geheugen vereisen dan de weights, en de getallen zijn afhankelijk van de architectuur van het model. Kleinere gekwantiseerde modellen draaien op een enkele consumenten-GPU; grote modellen vereisen meerdere GPU's of een gehuurde node, plus een inference server zoals vLLM of llama.cpp om verzoeken te bundelen.

Kwantiseren naar 4-bit bespaart geheugen tegen een zekere kost aan kwaliteit, en het verlies varieert per model en taak. Je moet het testen op je eigen prompts.

Het werk dat niet in de hardware-offerte zit

Hardware is de zichtbare kost. Het minder zichtbare deel is operaties:

  • Setup. Drivers, CUDA-versies, een inference server, een OpenAI-compatibele laag, authenticatie en een reverse proxy. Een eerste werkende setup duurt vaak een dag of meer; een productieversie duurt langer.
  • Tuning. Batchgroottes, contextlimieten, geheugeninstellingen en samplingstandaarden bepalen of je 2 gebruikers of 20 bedient.
  • Updates. Nieuwe modelversies, beveiligingspatches en releases van de inference server komen regelmatig binnen en breken soms dingen.
  • Monitoring. Iemand moet merken wanneer de GPU 's nachts het geheugen uit is.
  • Wachttijd. Een machine die ongebruikt blijft, kost nog steeds stroom of huur.

Geef een uurwaarde aan je tijd en voeg ongeveer vier tot acht uur onderhoud per maand toe. Dit aantal weegt vaak zwaarder dan de elektriciteitsrekening voor kleine implementaties.

Wat de API kost voor hetzelfde volume

Deze API rekent $0,15 per 1M input tokens en $0,50 per 1M output tokens, van prepaid tegoed dat niet verloopt. Er is geen abonnement, en mislukte of geweigerde verzoeken worden niet in rekening gebracht. Uitgewerkte voorbeelden, maand per maand:

Maandelijkse tokens (in / out)Input kostenOutput kostenTotaal
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1.000M / 200M$150,00$100,00$250,00

Voor een 5-op-1 input-to-output mix, kosten 6M tokens 5 × $0,15 + 1 × $0,50 = $1,25, of ongeveer $0,21 per miljoen tokens gemengd. Jouw mix verschilt, dus reken het opnieuw uit met je eigen gemiddelden. Zie de prijzenpagina voor top-up-bedragen en bonussen.

Vind je break-even punt

Tel alles op wat je elke maand zou betalen om te zelf hosten: hardwarekosten gedeeld door de maanden dat je het gebruikt, of de huurprijs; stroom; en de waarde van je onderhoudsuren. Noem het totaal F. Dan:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Elke $100 aan maandelijkse vaste kosten komt overeen met ongeveer 480M tokens op de API bij die mix. Als je echte verkeer ver onder het break-evenfiguur ligt, wat waar is voor de meeste side projects, interne tools en kleine producten, is de API goedkoper. Als het er ver boven is en constant, kan het bezitten van de machine winnen. Controleer die vergelijking met huidige getallen, omdat beide kanten veranderen.

Onthoud dat de capaciteit van self-hosted ook een plafond is. Eén machine verwerkt maar een bepaald aantal verzoeken tegelijk. Op een volledige key hier zijn 8 gelijktijdige verzoeken en 300 per minuut toegestaan, en de capaciteit daarachter is niet jouw probleem.

Wat je opgeeft met een gehoste API

Een API is geen gratis lunch, en sommige limieten zijn de moeite waard om duidelijk te stellen.

  • Eén model. Deze service draait een enkel open-weight model van een onafhankelijke provider, model ID uncensored. Je kunt het niet wisselen of je eigen weights laden.
  • Alleen tekst: geen afbeeldingen, audio, video of embeddings, en geen fine-tuning.
  • Context van 100.000 tokens, prompt plus completion.
  • Je prompts verlaten je netwerk. Ze worden niet gebruikt voor training, maar als beleid on-premises verwerking vereist, is zelf hosten het antwoord.

Als tegenprestation krijg je streaming, tool calling en JSON-modus achter de standaard OpenAI-interface, zodat bestaande code werkt met een gewijzigde base URL. Frameworks helpen ook; onze notitie over het gebruik van open-source modellen met LangChain toont hoe je er een op een endpoint zoals deze kunt wijzen.

Een goedkope manier om te beslissen

Koop geen hardware om uit te vinden of je die nodig hebt. Voer je echte werkbelasting eerst via een API uit, meet het aantal tokens per maand en vergelijk daarna pas met een hosting-offerte. Een trial van $0,50 met één klik is beschikbaar op de API-sleutelpagina, en het verzoek is het gebruikelijke OpenAI-verzoek:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

De response bevat een usage-object en een X-Balance-USD-header, dus een week normaal gebruik geeft je een reëel maandbedrag. Als dat bedrag uitkomt rond het break-evenpoint, heb je de gegevens om een beslissing te nemen. Details over de setup staan in de documentatie. Voor achtergrondinformatie over het type model dat hierbij betrokken is, zie wat een ongecensureerd AI-model is.

Vragen en antwoorden

Is het zelf hosten van een LLM goedkoper dan een API?

Alleen bij hoog, constant volume. Een GPU kost evenveel in rust of onder belasting, terwijl een API per token factureert. Bereken je break-even met de bovenstaande formule.

Hoeveel GPU-geheugen heb ik nodig?

Weights nemen ongeveer 2 bytes per parameter in beslag bij 16-bit en 0,5 bytes bij 4-bit, dus een 70B-model heeft ongeveer 140 GB of 35 GB nodig, plus geheugen voor de contextcache.

Kan ik fine-tunen op deze API?

Nee. Het is tekst-inferentie zonder fine-tuning of embeddings. Als je aangepaste modelgewichten nodig hebt, is zelf hosten de juiste route.

Wat kost de API?

$0,15 per 1M input tokens en $0,50 per 1M output tokens, prepaid, geen abonnement, en mislukte verzoeken worden niet in rekening gebracht.

Trainen jullie op mijn prompts?

Nee. Prompts worden niet gebruikt voor training.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen