DE ▾

Uncensored Model HubLLM-Selbsthosting vs. API: Kosten, Aufwand und Break-Even

LLM-Selbsthosting vs. API: Kosten, Aufwand und Break-Even

Die Frage nach LLM-Selbsthosting vs. API ist meist Arithmetik plus ein ehrlicher Blick auf deine eigene Zeit. Ein Modell selbst zu betreiben gibt dir Kontrolle und eine feste Rechnung; eine API gibt dir kein Setup und eine Rechnung, die dem Verbrauch folgt. So findest du heraus, welche Option für dein Volumen gewinnt.

Aktualisiert

Waage, die einen Server-Rack gegen einen Cloud-Knoten und Münzen abwägt, zum Vergleich von Selbsthosting mit einer API
Glasketten, die modulare Blöcke mit einem Serverwürfel verbinden, veranschaulichen LangChain mit einer Open-Weight-Modell-API

Wichtige Punkte

  1. Ein Modell benötigt etwa 0,5 Bytes pro Parameter bei 4-Bit und 2 Bytes bei 16-Bit, vor Cache und Overhead, sodass ein 70B-Modell etwa 35 GB bis 140 GB GPU-Speicher benötigt.
  2. Bei $0,15 pro 1M Input und $0,50 pro 1M Output kosten 100M Input plus 20M Output-Token im Monat $25.
  3. Selbsthosting gewinnt beim Fine-Tuning, Offline-Nutzung und sehr hohem gleichbleibendem Volumen; eine API gewinnt bei niedriger oder sprunghafter Auslastung.
  4. Zähle deine eigenen Stunden: Updates, Treiber und Monitoring sind Teil der Kosten.

Kurze Antwort

Für die meisten Einzelpersonen und kleinen Teams ist eine API günstiger, bis der Traffic hoch und konstant ist. Bei Entscheidungen zwischen LLM-Selbsthosting und API ist die Auslastung die entscheidende Variable: Eine GPU, die du rund um die Uhr bezahlst, kostet gleich viel, ob sie eine Million Token oder zehn bedient. Eine nutzungsbasierte API berechnet nur für genutzte Token.

Selbsthosting macht Sinn, wenn du fine-tunen musst, Daten dein Netzwerk nicht verlassen dürfen, du ein bestimmtes Modell ausführen musst oder wenn du gleichbleibend hohes Volumen hast und jemanden, der die Maschine bedient. Eine API macht Sinn, wenn du am Nachmittag startklar sein willst, wenn die Nutzung ungleichmäßig ist oder wenn eine Person alles macht.

Der Rest dieses Artikels liefert reproduzierbare Zahlen. Er zitiert keine Hardware- oder Cloud-Preise, weil diese schwanken; du fügst deine eigenen Angebote in die Formeln ein.

Welche Hardware ein Modell tatsächlich benötigt

Die Hauptbeschränkung ist der GPU-Speicher. Die Gewichte allein benötigen etwa parameters × bytes per parameter:

Modellgröße16-Bit (2 Bytes)8-Bit (1 Byte)4-Bit (0,5 Bytes)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Das ist die Untergrenze. Du brauchst auch Speicher für den Attention-Cache, der mit der Kontextlänge und der Anzahl paralleler Anfragen wächst, zuzüglich Laufzeit-Overhead. Das Bedienen eines 100.000-Token-Kontexts für mehrere Nutzer gleichzeitig kann weit mehr Speicher benötigen als die Gewichte, und die Zahlen hängen von der Architektur des Modells ab. Kleinere quantisierte Modelle laufen auf einer einzelnen Consumer-GPU; große benötigen mehrere GPUs oder einen gemieteten Node sowie einen Inference-Server wie vLLM oder llama.cpp, um Anfragen zu bündeln.

Das Quantisieren auf 4-Bit spart Speicher bei einem gewissen Qualitätsverlust, und der Verlust variiert je nach Modell und Aufgabe. Du musst es an deinen eigenen Prompts testen.

Die Arbeit, die nicht in der Hardware-Kalkulation enthalten ist

Hardware ist die sichtbare Kostenkomponente. Der weniger sichtbare Teil sind Operationen:

  • Setup. Treiber, CUDA-Versionen, ein Inference-Server, eine OpenAI-kompatible Schnittstelle, Authentifizierung und ein Reverse-Proxy. Ein erstes funktionierendes Setup dauert oft einen Tag oder länger; ein Produktions-Setup dauert länger.
  • Tuning. Batch-Größen, Kontextgrenzen, Speichereinstellungen und Sampling-Standardwerte entscheiden darüber, ob du 2 Benutzer oder 20 bedienst.
  • Updates. Neue Modellversionen, Sicherheits-Patches und Inference-Server-Veröffentlichungen kommen regelmäßig und verursachen manchmal Probleme.
  • Monitoring. Jemand muss bemerken, wenn der GPU nachts der Speicher ausgeht.
  • Leerlaufzeit. Eine Maschine, die ungenutzt dasteht, verursacht weiterhin Strom- oder Mietkosten.

Setze einen Stundenwert auf deine Zeit und addiere grob vier bis acht Stunden Wartung im Monat. Diese Zahl überwiegt oft die Stromrechnung für kleine Bereitstellungen.

Was die API für das gleiche Volumen kostet

Diese API berechnet $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token vom Prepaid-Guthaben, das nie verfällt. Es gibt kein Abonnement, und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Arbeitsbeispiele, Monat für Monat:

Monatliche Token (Input / Output)Input-KostenAusgabenkostenGesamt
20 Mio. / 5 Mio.$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1.000M / 200M$150,00$100,00$250,00

Für eine Input-zu-Output-Mischung von 5 zu 1 kosten 6M Token 5 × $0,15 + 1 × $0,50 = $1,25, oder etwa $0,21 pro Million gemischter Token. Deine Mischung wird abweichen, also berechne sie mit deinen eigenen Durchschnittswerten neu. Siehe die Preisseite für Aufladungsbeträge und Boni.

Finde deinen Break-Even-Punkt

Addiere alles, was du jeden Monat für das Selbsthosting bezahlen würdest: Hardwarekosten geteilt durch die Monate, die du sie nutzen wirst, oder die Mietgebühr; Strom; und den Wert deiner Wartungsstunden. Nenne die Summe F. Dann:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Jede $100 monatliche Fixkosten entsprechen etwa 480M Token auf der API bei diesem Verhältnis. Wenn dein echter Traffic deutlich unter der Break-Even-Zahl liegt, was für die meisten Nebenprojekte, interne Tools und kleine Produkte gilt, ist die API günstiger. Wenn er weit darüber und konstant ist, kann der Maschinenbesitz gewinnen. Prüfe diesen Vergleich mit aktuellen Zahlen, da sich beide Seiten ändern.

Denk daran, dass die Kapazität beim Selbsthosten auch eine Obergrenze ist. Eine Maschine bedient nur so viele Anfragen gleichzeitig. Bei einem vollständigen Key hier sind 8 parallele Anfragen und 300 pro Minute erlaubt, und die Kapazität hinter diesen Anfragen ist nicht dein Problem.

Was du mit einer gehosteten API aufgibst

Eine API ist kein kostenloses Mittagessen, und einige Grenzen sind klar zu benennen.

  • Ein Modell. Dieser Dienst führt ein einzelnes Open-Weight-Modell eines unabhängigen Anbieters aus, Modell-ID uncensored. Du kannst es nicht austauschen oder deine eigenen Gewichte laden.
  • Nur Text: keine Bilder, Audio, Video oder Embeddings, und kein Fine-Tuning.
  • Kontext von 100.000 Token, Prompt plus Vervollständigung.
  • Deine Prompts verlassen dein Netzwerk. Sie werden nicht zum Training verwendet, aber wenn die Politik eine On-Premises-Verarbeitung erfordert, ist das Selbsthosting die Antwort.

Im Gegenzug erhältst du Streaming, Tool Calling und JSON-Modus hinter der Standard-OpenAI-Schnittstelle, sodass bestehender Code mit einer geänderten Base URL funktioniert. Frameworks helfen auch; unser Hinweis zur Nutzung von Open-Source-Modellen mit LangChain zeigt, wie man eines an einen Endpunkt wie diesen weist.

Eine günstige Möglichkeit zu entscheiden

Kauf keine Hardware, um herauszufinden, ob du sie brauchst. Lauf deine echte Workload zuerst über eine API, miss Token pro Monat und vergleiche dann erst mit einem Hosting-Angebot. Ein One-Click-Test mit $0,50 ist auf der API-Schlüssel-Seite verfügbar, und der Aufruf ist der übliche OpenAI-Aufruf:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Die Antwort enthält ein Objekt mit den Nutzungsdaten und einen X-Balance-USD-Header, sodass eine Woche normaler Nutzung dir eine echte monatliche Zahl gibt. Wenn diese Zahl nahe am Break-Even endet, hast du die Daten zur Entscheidung. Setup-Details findest du in der Dokumentation. Für Hintergrundinformationen zur Art des beteiligten Modells sieh dir an, was ein unzensiertes KI-Modell ist.

Fragen und Antworten

Ist das Selbsthosting eines LLM günstiger als eine API?

Nur bei hohem, gleichbleibendem Volumen. Eine GPU kostet im Leerlauf genauso viel wie im Betrieb, während eine API pro Token abrechnet. Berechne deinen Break-Even mit der oben stehenden Formel.

Wie viel GPU-Speicher brauche ich?

Gewichte benötigen etwa 2 Bytes pro Parameter bei 16-Bit und 0,5 Bytes bei 4-Bit, so dass ein 70B-Modell etwa 140 GB oder 35 GB benötigt, zuzüglich Speicher für den Kontext-Cache.

Kann ich auf dieser API fine-tunen?

Nein. Es ist Text-Inferenz ohne Feinabstimmung oder Embeddings. Wenn du benutzerdefinierte Gewichte brauchst, ist Selbsthosting der richtige Weg.

Was kostet die API?

$0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, Prepaid, kein Abonnement, und fehlgeschlagene Anfragen werden nicht berechnet.

Trainierst du an meinen Prompts?

Nein. Prompts werden nicht zum Trainieren verwendet.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten