IT ▾

Uncensored Model HubSelf-hosting LLM vs API: costi, impegno e pareggio

Self-hosting LLM vs API: costi, impegno e pareggio

La domanda su self-hosting LLM vs API è principalmente aritmetica e richiede un'analisi onesta del tuo tempo. Eseguire un modello in autonomia ti dà controllo e un costo fisso; un'API ti offre zero configurazione e un costo legato all'uso. Ecco come calcolare quale soluzione vince per il tuo volume.

Aggiornato

Bilancia che pesa un rack server contro un nodo cloud e monete, confrontando l'hosting autonomo con un'API
Anelli di catena di vetro che collegano blocchi modulari a un cubo del server, illustrazione di LangChain con un'API di modello a pesi aperti

Punti chiave

  1. Un modello richiede circa 0,5 byte per parametro a 4-bit e 2 byte a 16-bit, prima di cache e overhead, quindi un modello da 70B richiede circa 35 GB a 140 GB di memoria GPU.
  2. A $0,15 per milione di token di input e $0,50 per milione di token di output, un mese con 100 milioni di token di input e 20 milioni di token di output costa $25.
  3. L'hosting autonomo vince su fine-tuning, uso offline e volume costante molto alto; un'API vince su traffico basso o irregolare.
  4. Conta le tue ore: aggiornamenti, driver e monitoraggio fanno parte del costo.

Risposta breve

Per la maggior parte delle persone e piccoli team, un'API è più economica fino a quando il traffico non è elevato e costante. Per le decisioni tra self-hosting di un LLM e API, la variabile decisiva è l'utilizzo: una GPU che paghi 24 ore su 24 costa la stessa cifra che serva un milione o dieci milioni di token. Un'API pay-per-token (a consumo per token) addebita solo per i token effettivamente utilizzati.

L'hosting autonomo ha senso quando devi fare fine-tuning, quando i dati non possono lasciare la tua rete, quando devi eseguire un modello specifico o quando hai volume costante elevato e qualcuno per gestire la macchina. Un'API ha senso quando vuoi essere operativo in un pomeriggio, quando l'uso è irregolare o quando una persona fa tutto.

Il resto di questo articolo fornisce numeri che puoi riprodurre. Non cita prezzi hardware o cloud, perché sono variabili; aggiungerai tu il tuo preventivo alle formule.

L'hardware effettivo necessario per un modello

Il principale vincolo è la memoria della GPU. I soli pesi richiedono circa parameters × bytes per parameter:

Dimensioni del modello16-bit (2 byte)8-bit (1 byte)4-bit (0,5 byte)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Questo è il minimo. Hai anche bisogno di memoria per la cache dell'attenzione, che cresce con la lunghezza del contesto e con il numero di richieste simultanee, più l'overhead di runtime. Servire un contesto da 100.000 token a diversi utenti contemporaneamente può richiedere molta più memoria dei soli pesi, e i numeri dipendono dall'architettura del modello. I modelli quantizzati più piccoli girano su una singola GPU consumer; quelli grandi richiedono più GPU o un nodo in affitto, più un server di inferenza come vLLM o llama.cpp per gestire le richieste in batch.

La quantizzazione a 4-bit risparmia memoria a scapito della qualità, e la perdita varia per modello e compito. Devi provarla sui tuoi prompt personali.

Il lavoro non incluso nel preventivo hardware

L'hardware è il costo visibile. La parte meno visibile è le operazioni:

  • Configurazione. Driver, versioni CUDA, server di inferenza, strato compatibile OpenAI, autenticazione e reverse proxy. Una prima configurazione funzionante richiede spesso un giorno o più; una produzione richiede di più.
  • Regolazione. Dimensioni batch, limiti contesto, impostazioni memoria e default di sampling decidono se servi 2 utenti o 20.
  • Aggiornamenti. Nuove versioni di modelli, patch di sicurezza e rilasci del server di inferenza arrivano regolarmente e a volte rompono le cose.
  • Monitoraggio. Qualcuno deve notare quando la GPU finisce la memoria di notte.
  • Tempo inattivo. Una macchina inutilizzata costa comunque corrente o affitto.

Assegna un valore orario al tuo tempo e aggiungi circa quattro-otto ore al mese di manutenzione. Questo numero spesso supera la bolletta elettrica per piccoli deploy.

Quanto costa l'API per lo stesso volume

Questa API addebita $0,15 per 1M token input e $0,50 per 1M token output, da credito prepagato che non scade mai. Non c'è abbonamento, e le richieste fallite o rifiutate non vengono addebitate. Esempi pratici, mese per mese:

Token mensili (input / output)Costo inputCosto outputTotale
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1.000M / 200M$150,00$100,00$250,00

Per un mix input-output 5 a 1, 6M token costano 5 × $0,15 + 1 × $0,50 = $1,25, o circa $0,21 per milione di token mediati. Il tuo mix sarà diverso, quindi ricalcolalo con le tue medie. Vedi la pagina dei prezzi per importi di ricarica e bonus.

Trova il tuo punto di pareggio

Somma tutto ciò che pagheresti ogni mese per l'hosting autonomo: costo hardware diviso per i mesi di utilizzo, o canone di affitto; energia; e il valore delle tue ore di manutenzione. Chiamiamo il totale F. Poi:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Ogni $100 di costo fisso mensile equivalgono a circa 480M token sull'API con quel mix. Se il tuo traffico reale è ben al di sotto della soglia di pareggio, il che è vero per la maggior parte dei progetti laterali, strumenti interni e piccoli prodotti, l'API è più economica. Se è molto al di sopra e costante, possedere la macchina può vincere. Verifica questo confronto con i numeri attuali, perché entrambi i lati cambiano.

Ricorda che la capacità self-hosted è anche un soffitto. Una macchina serve solo un certo numero di richieste alla volta. Con una chiave completa qui, sono consentite 8 richieste concorrenti e 300 al minuto, e la capacità dietro di esse non è un tuo problema.

Cosa perdi con un'API gestita

Un'API non è un pranzo gratis, e alcuni limiti vale la pena dichiararli chiaramente.

  • Un modello. Questo servizio esegue un singolo modello a pesi aperti di un provider indipendente, ID modello uncensored. Non puoi scambiarlo o caricare i tuoi pesi.
  • Solo testo: nessuna immagine, audio, video o embeddings, e nessun fine-tuning.
  • Finestra di contesto di 100.000 token, prompt più completamento.
  • I tuoi prompt lasciano la tua rete. Non sono usati per il training, ma se la politica richiede elaborazione on-premise, l'hosting autonomo è la risposta.

In cambio ottieni streaming, chiamata di funzioni e modalità JSON dietro l'interfaccia standard OpenAI, quindi il codice esistente funziona con un URL base modificato. Anche i framework aiutano; la nostra nota su l'uso di modelli open-source con LangChain mostra come puntare uno di essi a un endpoint come questo.

Un modo economico per decidere

Non comprare hardware per scoprire se ti serve. Esegui il tuo carico reale tramite un'API prima, misura i token al mese, e solo allora confronta con un preventivo di hosting. Una prova one-click da $0,50 è disponibile nella pagina delle chiavi API, e la chiamata è la solita OpenAI:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

La risposta include un oggetto usage e un header X-Balance-USD, quindi una settimana di uso normale ti dà un numero mensile reale. Se quel numero si avvicina al pareggio, hai i dati per decidere. I dettagli di configurazione sono nella documentazione. Per lo sfondo sul tipo di modello coinvolto, vedi cos'è un modello AI senza censura.

Domande e risposte

È più economico ospitare autonomamente un LLM rispetto a un'API?

Solo a volumi elevati e costanti. Una GPU costa uguale a riposo o sotto carico, mentre un'API addebita per token. Calcola il tuo punto di pareggio con la formula sopra.

Quanta memoria GPU mi serve?

I pesi occupano circa 2 byte per parametro a 16-bit e 0,5 byte a 4-bit, quindi un modello da 70B richiede circa 140 GB o 35 GB, più memoria per la cache del contesto.

Posso fare il fine-tuning su questa API?

No. Si tratta di inferenza solo testuale, senza affinamento né vettori di embedding. Se ti servono pesi personalizzati, l’hosting autonomo è la strada giusta.

Quanto costa l’API?

$0,15 per 1M di token in input e $0,50 per 1M di token in output, prepagato, senza abbonamento, e le richieste fallite non vengono addebitate.

Addestrate il modello sui miei prompt?

No. I prompt non vengono utilizzati per l'addestramento.

La tua chiave è a un passo di distanza

Crea un account, copia la chiave, modifica l'URL di base. Ecco tutta la configurazione.

Ottieni la chiave API