Cosa gestisce l'hosting per te
Eseguire un modello linguistico in produzione richiede più che scaricare i pesi. Un'API ospitata si assume i seguenti compiti in modo che il tuo codice non debba farlo:
| Gestito dall'host | Ancora di tua responsabilità |
|---|---|
| GPU, driver e server di inferenza | Scrittura e test dei tuoi prompt |
| Caricamento del modello e mantenimento in caldo | Scelta di temperature, max_tokens e altre impostazioni |
| Batching di molte richieste insieme | Logica di retry per le risposte 429 |
| Autenticazione e limite di richieste | Mantenere segreta la tua chiave API |
| Misurazione e saldo prepagato | Monitoraggio delle tue spese |
| Aggiornamenti software lato serving | Gestione dell'output del modello nella tua app |
Il servizio qui è un'API chat compatibile con OpenAI che serve un unico modello a pesi aperti, gestito da un provider indipendente. Non è l'API ufficiale di alcun fornitore di modelli e non è un router tra diversi. Solo testo: nessuna generazione di immagini, audio o video, nessun embedding e nessun fine-tuning.
La tua prima richiesta
Crea un account con Google o con email e password, poi copia una chiave dalla pagina chiave API. La rivendicazione della prova con un clic aggiunge $0,50 di credito, valido per 7 giorni, senza carta.
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
Gli stessi endpoint includono anche POST /v1/responses e GET /v1/models. La documentazione elenca i parametri.
Streaming, strumenti e modalità JSON
La maggior parte di ciò che gli sviluppatori usano da un'API chat è disponibile.
- Streaming. Imposta
stream: trueper ricevere server-sent events mentre i token vengono generati; l'utilizzo viene segnalato alla fine. Le UI chat dipendono da questo. - Chiamata di funzioni. Passa
toolsetool_choice, leggitool_callsdalla risposta (anche loro sono in streaming) e restituisci i risultati come messaggi conrole: "tool". - Modalità JSON.
response_format: {"type":"json_object"}fa sì che il modello restituisca un oggetto JSON, utile per estrazione e classificazione. - Controlli di campionamento. temperature, top_p, stop, seed e le penalità vengono passati invariati.
Una chiamata in streaming in Python appare così:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Le librerie che parlano già il formato OpenAI, come LangChain, funzionano cambiando l'URL di base; la nostra pagina su LangChain con modelli open source mostra un esempio.
Limiti e come gestirli
L'hosting è condiviso, quindi ci sono limiti. Conoscili prima di costruire un loop attorno all'API.
- Contesto: 100.000 token, prompt più completamento. Il completamento può usare tutto ciò che il prompt non ha utilizzato, e
max_tokensè opzionale. - Concurrency e rate limit: una chiave completa permette 8 richieste parallele e 300 al minuto; una chiave di prova ne permette 2 e 60. Una richiesta streaming mantiene il suo slot fino alla fine dello streaming.
- Dimensione del corpo: 8 MB per richiesta.
- Risposte 429: il codice di errore è
rate_limitedper le richieste al minuto,concurrencyper troppe richieste simultanee, e compare l'intestazioneRetry-After: 5in caso di sovraccarico temporaneo.
Un semplice retry che attende e riprova è sufficiente nella maggior parte delle app. Se una richiesta fallisce perché il prompt è troppo lungo, la pagina su errori finestra di contesto superata copre le correzioni come la sintesi o il troncamento della cronologia.
Le intestazioni di risposta aiutano con il monitoraggio: X-Request-Id da citare in un ticket di supporto, X-RateLimit-Limit-Requests e X-RateLimit-Limit-Concurrency per i tuoi limiti, e X-Balance-USD per quanto rimane.
Spostare un'app esistente
Se il tuo codice usa già un client OpenAI, raramente avrai bisogno di riscriverlo. Gli SDK ufficiali leggono due variabili d'ambiente, quindi un cambio può avvenire al di fuori del codice:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
Poi imposta il nome del modello su uncensored ovunque il tuo codice indichi un modello. Tre cose vale la pena controllare prima di andare in produzione:
- Funzionalità su cui fai affidamento. Chat, streaming, tools e modalità JSON funzionano. Le chiamate agli endpoint di embedding, immagini o audio non funzioneranno, perché questo è un servizio solo testo.
- Lunghezza del prompt. Tutto ciò che supera i 100.000 token in totale deve essere tagliato o sintetizzato prima.
- Concurrency. Se la tua app può inviare più di 8 richieste alla volta, metti una coda o un semaphore davanti al client in modo da non attivare errori 429 nei picchi.
Mantieni la chiave sul server. Non spedirla mai nel codice del browser o in un'app mobile, perché chiunque la estragga può spendere il tuo saldo. Memorizzala in una variabile d'ambiente o in un gestore di segreti, e ruotala se viene compromessa.
Costi e fatturazione
La fatturazione è per token: $0,15 per 1M di input e $0,50 per 1M di output. Il credito è prepagato e non scade mai, e non c'è abbonamento. Le richieste fallite o rifiutate non vengono addebitate.
Un esempio rapido. Una richiesta con 2.000 token in input e 500 token in output costa 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Sono 1.818 tali richieste per dollaro. I ricarichi sono qualsiasi importo intero da $20 a $500, con cripto (USDT su TRC20, USDC su Base), con bonus del +5% da $50, +10% da $100 e +15% da $200. Vedi la pagina prezzi.
Per controllare il tuo saldo in codice, chiama GET /v1/balance o la variante in stile OpenAI GET /v1/dashboard/billing/credit_grants, o leggi X-Balance-USD da qualsiasi risposta.
Ospitato o eseguito in locale: un controllo rapido
Un'API ospitata è adatta quando vuoi spedire rapidamente, hai un traffico irregolare o non vuoi gestire le GPU. Rinunci alla scelta del modello e alla possibilità di fare fine-tuning. I prompt vengono inviati al provider, anche se non vengono usati per l'addestramento.
Se stai valutando di eseguirlo sull'hardware tuo, confronta le cifre per token sopra con il preventivo per il tuo hardware. Per informazioni sul tipo di modello, leggi cos'è un modello di IA senza censura. Dal punto di vista dei contenuti, il modello è ottimizzato per rispondere senza rifiuti per uso adulto legale, con un limite rigido: nulla di sessuale che coinvolga minorenni.

