Risposta breve
Per la maggior parte delle persone e piccoli team, un'API è più economica fino a quando il traffico non è elevato e costante. Per le decisioni tra self-hosting di un LLM e API, la variabile decisiva è l'utilizzo: una GPU che paghi 24 ore su 24 costa la stessa cifra che serva un milione o dieci milioni di token. Un'API pay-per-token (a consumo per token) addebita solo per i token effettivamente utilizzati.
L'hosting autonomo ha senso quando devi fare fine-tuning, quando i dati non possono lasciare la tua rete, quando devi eseguire un modello specifico o quando hai volume costante elevato e qualcuno per gestire la macchina. Un'API ha senso quando vuoi essere operativo in un pomeriggio, quando l'uso è irregolare o quando una persona fa tutto.
Il resto di questo articolo fornisce numeri che puoi riprodurre. Non cita prezzi hardware o cloud, perché sono variabili; aggiungerai tu il tuo preventivo alle formule.
L'hardware effettivo necessario per un modello
Il principale vincolo è la memoria della GPU. I soli pesi richiedono circa parameters × bytes per parameter:
| Dimensioni del modello | 16-bit (2 byte) | 8-bit (1 byte) | 4-bit (0,5 byte) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Questo è il minimo. Hai anche bisogno di memoria per la cache dell'attenzione, che cresce con la lunghezza del contesto e con il numero di richieste simultanee, più l'overhead di runtime. Servire un contesto da 100.000 token a diversi utenti contemporaneamente può richiedere molta più memoria dei soli pesi, e i numeri dipendono dall'architettura del modello. I modelli quantizzati più piccoli girano su una singola GPU consumer; quelli grandi richiedono più GPU o un nodo in affitto, più un server di inferenza come vLLM o llama.cpp per gestire le richieste in batch.
La quantizzazione a 4-bit risparmia memoria a scapito della qualità, e la perdita varia per modello e compito. Devi provarla sui tuoi prompt personali.
Il lavoro non incluso nel preventivo hardware
L'hardware è il costo visibile. La parte meno visibile è le operazioni:
- Configurazione. Driver, versioni CUDA, server di inferenza, strato compatibile OpenAI, autenticazione e reverse proxy. Una prima configurazione funzionante richiede spesso un giorno o più; una produzione richiede di più.
- Regolazione. Dimensioni batch, limiti contesto, impostazioni memoria e default di sampling decidono se servi 2 utenti o 20.
- Aggiornamenti. Nuove versioni di modelli, patch di sicurezza e rilasci del server di inferenza arrivano regolarmente e a volte rompono le cose.
- Monitoraggio. Qualcuno deve notare quando la GPU finisce la memoria di notte.
- Tempo inattivo. Una macchina inutilizzata costa comunque corrente o affitto.
Assegna un valore orario al tuo tempo e aggiungi circa quattro-otto ore al mese di manutenzione. Questo numero spesso supera la bolletta elettrica per piccoli deploy.
Quanto costa l'API per lo stesso volume
Questa API addebita $0,15 per 1M token input e $0,50 per 1M token output, da credito prepagato che non scade mai. Non c'è abbonamento, e le richieste fallite o rifiutate non vengono addebitate. Esempi pratici, mese per mese:
| Token mensili (input / output) | Costo input | Costo output | Totale |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1.000M / 200M | $150,00 | $100,00 | $250,00 |
Per un mix input-output 5 a 1, 6M token costano 5 × $0,15 + 1 × $0,50 = $1,25, o circa $0,21 per milione di token mediati. Il tuo mix sarà diverso, quindi ricalcolalo con le tue medie. Vedi la pagina dei prezzi per importi di ricarica e bonus.
Trova il tuo punto di pareggio
Somma tutto ciò che pagheresti ogni mese per l'hosting autonomo: costo hardware diviso per i mesi di utilizzo, o canone di affitto; energia; e il valore delle tue ore di manutenzione. Chiamiamo il totale F. Poi:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Ogni $100 di costo fisso mensile equivalgono a circa 480M token sull'API con quel mix. Se il tuo traffico reale è ben al di sotto della soglia di pareggio, il che è vero per la maggior parte dei progetti laterali, strumenti interni e piccoli prodotti, l'API è più economica. Se è molto al di sopra e costante, possedere la macchina può vincere. Verifica questo confronto con i numeri attuali, perché entrambi i lati cambiano.
Ricorda che la capacità self-hosted è anche un soffitto. Una macchina serve solo un certo numero di richieste alla volta. Con una chiave completa qui, sono consentite 8 richieste concorrenti e 300 al minuto, e la capacità dietro di esse non è un tuo problema.
Cosa perdi con un'API gestita
Un'API non è un pranzo gratis, e alcuni limiti vale la pena dichiararli chiaramente.
- Un modello. Questo servizio esegue un singolo modello a pesi aperti di un provider indipendente, ID modello
uncensored. Non puoi scambiarlo o caricare i tuoi pesi. - Solo testo: nessuna immagine, audio, video o embeddings, e nessun fine-tuning.
- Finestra di contesto di 100.000 token, prompt più completamento.
- I tuoi prompt lasciano la tua rete. Non sono usati per il training, ma se la politica richiede elaborazione on-premise, l'hosting autonomo è la risposta.
In cambio ottieni streaming, chiamata di funzioni e modalità JSON dietro l'interfaccia standard OpenAI, quindi il codice esistente funziona con un URL base modificato. Anche i framework aiutano; la nostra nota su l'uso di modelli open-source con LangChain mostra come puntare uno di essi a un endpoint come questo.
Un modo economico per decidere
Non comprare hardware per scoprire se ti serve. Esegui il tuo carico reale tramite un'API prima, misura i token al mese, e solo allora confronta con un preventivo di hosting. Una prova one-click da $0,50 è disponibile nella pagina delle chiavi API, e la chiamata è la solita OpenAI:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
La risposta include un oggetto usage e un header X-Balance-USD, quindi una settimana di uso normale ti dà un numero mensile reale. Se quel numero si avvicina al pareggio, hai i dati per decidere. I dettagli di configurazione sono nella documentazione. Per lo sfondo sul tipo di modello coinvolto, vedi cos'è un modello AI senza censura.

