IT ▾

Uncensored Model HubAPI di hosting LLM: cosa ottieni e cosa salti

API di hosting LLM: cosa ottieni e cosa salti

Un'API di hosting LLM significa che qualcun altro possiede le GPU, carica il modello e mantiene il server attivo, mentre tu invii richieste HTTP. Paghi per token e salti l'infrastruttura. Questa pagina elenca cosa è gestito per te, cosa spetta ancora a te e la prima richiesta in tre lingue.

Aggiornato

Torre di server hosting collegata con un cavo luminoso a un laptop, che rappresenta un'API LLM ospitata
Anelli di catena di vetro che collegano blocchi modulari a un cubo del server, illustrazione di LangChain con un'API di modello a pesi aperti

Punti chiave

  1. L'hosting copre GPU, caricamento del modello, batching, scaling e l'endpoint HTTP; tu fornisci i prompt e una chiave.
  2. L'interfaccia è compatibile con OpenAI: cambia il base URL in https://api.uncensoredmodelhub.com/v1 e usa il modello uncensored.
  3. Sono supportati streaming, chiamata di funzioni e modalità JSON; non ci sono endpoint per immagini, audio, embedding o fine-tuning.
  4. Limiti da pianificare: 100.000 token di contesto, 8 richieste parallele e 300 al minuto con una chiave completa.

Cosa gestisce l'hosting per te

Eseguire un modello linguistico in produzione richiede più che scaricare i pesi. Un'API ospitata si assume i seguenti compiti in modo che il tuo codice non debba farlo:

Gestito dall'hostAncora di tua responsabilità
GPU, driver e server di inferenzaScrittura e test dei tuoi prompt
Caricamento del modello e mantenimento in caldoScelta di temperature, max_tokens e altre impostazioni
Batching di molte richieste insiemeLogica di retry per le risposte 429
Autenticazione e limite di richiesteMantenere segreta la tua chiave API
Misurazione e saldo prepagatoMonitoraggio delle tue spese
Aggiornamenti software lato servingGestione dell'output del modello nella tua app

Il servizio qui è un'API chat compatibile con OpenAI che serve un unico modello a pesi aperti, gestito da un provider indipendente. Non è l'API ufficiale di alcun fornitore di modelli e non è un router tra diversi. Solo testo: nessuna generazione di immagini, audio o video, nessun embedding e nessun fine-tuning.

La tua prima richiesta

Crea un account con Google o con email e password, poi copia una chiave dalla pagina chiave API. La rivendicazione della prova con un clic aggiunge $0,50 di credito, valido per 7 giorni, senza carta.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Gli stessi endpoint includono anche POST /v1/responses e GET /v1/models. La documentazione elenca i parametri.

Streaming, strumenti e modalità JSON

La maggior parte di ciò che gli sviluppatori usano da un'API chat è disponibile.

  • Streaming. Imposta stream: true per ricevere server-sent events mentre i token vengono generati; l'utilizzo viene segnalato alla fine. Le UI chat dipendono da questo.
  • Chiamata di funzioni. Passa tools e tool_choice, leggi tool_calls dalla risposta (anche loro sono in streaming) e restituisci i risultati come messaggi con role: "tool".
  • Modalità JSON. response_format: {"type":"json_object"} fa sì che il modello restituisca un oggetto JSON, utile per estrazione e classificazione.
  • Controlli di campionamento. temperature, top_p, stop, seed e le penalità vengono passati invariati.

Una chiamata in streaming in Python appare così:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Le librerie che parlano già il formato OpenAI, come LangChain, funzionano cambiando l'URL di base; la nostra pagina su LangChain con modelli open source mostra un esempio.

Limiti e come gestirli

L'hosting è condiviso, quindi ci sono limiti. Conoscili prima di costruire un loop attorno all'API.

  • Contesto: 100.000 token, prompt più completamento. Il completamento può usare tutto ciò che il prompt non ha utilizzato, e max_tokens è opzionale.
  • Concurrency e rate limit: una chiave completa permette 8 richieste parallele e 300 al minuto; una chiave di prova ne permette 2 e 60. Una richiesta streaming mantiene il suo slot fino alla fine dello streaming.
  • Dimensione del corpo: 8 MB per richiesta.
  • Risposte 429: il codice di errore è rate_limited per le richieste al minuto, concurrency per troppe richieste simultanee, e compare l'intestazione Retry-After: 5 in caso di sovraccarico temporaneo.

Un semplice retry che attende e riprova è sufficiente nella maggior parte delle app. Se una richiesta fallisce perché il prompt è troppo lungo, la pagina su errori finestra di contesto superata copre le correzioni come la sintesi o il troncamento della cronologia.

Le intestazioni di risposta aiutano con il monitoraggio: X-Request-Id da citare in un ticket di supporto, X-RateLimit-Limit-Requests e X-RateLimit-Limit-Concurrency per i tuoi limiti, e X-Balance-USD per quanto rimane.

Spostare un'app esistente

Se il tuo codice usa già un client OpenAI, raramente avrai bisogno di riscriverlo. Gli SDK ufficiali leggono due variabili d'ambiente, quindi un cambio può avvenire al di fuori del codice:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Poi imposta il nome del modello su uncensored ovunque il tuo codice indichi un modello. Tre cose vale la pena controllare prima di andare in produzione:

  • Funzionalità su cui fai affidamento. Chat, streaming, tools e modalità JSON funzionano. Le chiamate agli endpoint di embedding, immagini o audio non funzioneranno, perché questo è un servizio solo testo.
  • Lunghezza del prompt. Tutto ciò che supera i 100.000 token in totale deve essere tagliato o sintetizzato prima.
  • Concurrency. Se la tua app può inviare più di 8 richieste alla volta, metti una coda o un semaphore davanti al client in modo da non attivare errori 429 nei picchi.

Mantieni la chiave sul server. Non spedirla mai nel codice del browser o in un'app mobile, perché chiunque la estragga può spendere il tuo saldo. Memorizzala in una variabile d'ambiente o in un gestore di segreti, e ruotala se viene compromessa.

Costi e fatturazione

La fatturazione è per token: $0,15 per 1M di input e $0,50 per 1M di output. Il credito è prepagato e non scade mai, e non c'è abbonamento. Le richieste fallite o rifiutate non vengono addebitate.

Un esempio rapido. Una richiesta con 2.000 token in input e 500 token in output costa 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Sono 1.818 tali richieste per dollaro. I ricarichi sono qualsiasi importo intero da $20 a $500, con cripto (USDT su TRC20, USDC su Base), con bonus del +5% da $50, +10% da $100 e +15% da $200. Vedi la pagina prezzi.

Per controllare il tuo saldo in codice, chiama GET /v1/balance o la variante in stile OpenAI GET /v1/dashboard/billing/credit_grants, o leggi X-Balance-USD da qualsiasi risposta.

Ospitato o eseguito in locale: un controllo rapido

Un'API ospitata è adatta quando vuoi spedire rapidamente, hai un traffico irregolare o non vuoi gestire le GPU. Rinunci alla scelta del modello e alla possibilità di fare fine-tuning. I prompt vengono inviati al provider, anche se non vengono usati per l'addestramento.

Se stai valutando di eseguirlo sull'hardware tuo, confronta le cifre per token sopra con il preventivo per il tuo hardware. Per informazioni sul tipo di modello, leggi cos'è un modello di IA senza censura. Dal punto di vista dei contenuti, il modello è ottimizzato per rispondere senza rifiuti per uso adulto legale, con un limite rigido: nulla di sessuale che coinvolga minorenni.

Domande e risposte

Cos'è un'API di hosting per LLM?

Un servizio che esegue un modello linguistico sui propri GPU e lo espone tramite HTTP. Invii prompt e paghi per token senza gestire i server.

È compatibile con l'SDK di OpenAI?

Sì. Imposta l'URL di base su https://api.uncensoredmodelhub.com/v1, usa la tua chiave e l'ID del modello uncensored.

Quali sono i limiti di richieste?

Una chiave completa permette 8 richieste concorrenti e 300 al minuto. Una chiave di prova permette 2 e 60. Oltre un limite ottieni HTTP 429.

Posso fare fine-tuning o generare immagini?

No. È un'API solo testo, senza fine-tuning, embedding o generazione di immagini, audio o video.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, cambia l'URL di base. Questa è tutta la configurazione.

Ottieni la chiave API