NL ▾

Uncensored Model HubLLM-hosting-API: wat je krijgt en wat je overslaat

LLM-hosting-API: wat je krijgt en wat je overslaat

Een LLM-hosting-API betekent dat iemand anders de GPU's bezit, het model laadt en de server draaiende houdt, en jij HTTP-verzoeken stuurt. Je betaalt per token en vermijdt de infrastructuur. Deze pagina somt op wat voor je wordt geregeld, wat nog bij jou ligt, en het eerste verzoek in drie talen.

Bijgewerkt

Glazen servertoren verbonden met één gloeiende kabel met een laptop, die een gehoste LLM-API voorstelt
Glass chain-koppelingen die modulaire blokken verbinden met een servercube, illustratie van LangChain met een open-weight model API

Belangrijkste punten

  1. Hosting dekt GPU's, model laden, batching, schalen en het HTTP-endpoint; jij levert prompts en een sleutel.
  2. De interface is OpenAI-compatible: verander de basis-URL naar https://api.uncensoredmodelhub.com/v1 en gebruik model uncensored.
  3. Streaming, function calling en JSON-modus worden ondersteund; er is geen afbeeldings-, audio-, embedding- of fine-tuning-endpoint.
  4. Limieten om rekening mee te houden: 100.000 tokens contextvenster, 8 gelijktijdige verzoeken en 300 per minuut bij een volledige sleutel.

Wat de hosting voor je regelt

Een taalmodel in productie draaien betekent meer dan modelgewichten downloaden. Een gehoste API neemt het volgende over, zodat jouw code dat niet hoeft:

Afgehandeld door de hostNog steeds van jou
GPU's, stuurprogramma's en de inferentieserverHet schrijven en testen van je prompts
Het laden van het model en het warm houdenHet kiezen van temperature, max_tokens en andere instellingen
Het batchen van veel verzoeken samenHerstellogica voor 429-responses
Authenticatie en rate limitingJe API-sleutel geheim houden
Verbruiksmeting en een prepaid tegoedJe verbruik bijhouden
Software-updates aan de serving-kantModeloutput afhandelen in je app

De service hier is een OpenAI-compatible chat-API die één open-weight model serveert, gerund door een onafhankelijke provider. Het is niet de officiële API van een modelleverancier en geen router over meerdere modellen. Alleen tekst: geen afbeeldings-, audio- of videogeneratie, geen embeddings en geen fine-tuning.

Je eerste verzoek

Maak een account aan met Google of e-mail en wachtwoord, en kopieer vervolgens een sleutel van de API-sleutelpagina. Het claimen van de one-click trial voegt daar $0,50 aan tegoed toe, geldig voor 7 dagen, zonder kaart.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Dezelfde endpoints omvatten ook POST /v1/responses en GET /v1/models. De documentatie somt parameters op.

Streaming, tools en JSON-modus

Het meeste wat ontwikkelaars van een chat-API gebruiken, is beschikbaar.

  • Streaming. Stel stream: true in om server-sent events te ontvangen terwijl tokens worden gegenereerd; gebruik wordt aan het einde gerapporteerd. Chat-UI's zijn hierop afhankelijk.
  • Function calling. Stuur tools en tool_choice, lees tool_calls uit de response (ze streamen ook), en retourneer resultaten als berichten met role: "tool".
  • JSON-modus. response_format: {"type":"json_object"} zorgt ervoor dat het model een JSON-object retourneert, nuttig voor extractie en classificatie.
  • Sampling controls. temperature, top_p, stop, seed en de penalties worden doorgegeven.

Een streaming-call in Python ziet er als volgt uit:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Libraries die het OpenAI-formaat al spreken, zoals LangChain, werken door de base URL te wijzigen; onze pagina over LangChain met open-source modellen toont een voorbeeld.

Limieten en hoe ermee om te gaan

Hosting is gedeeld, dus er zijn limieten. Ken ze voordat je een lus rond de API bouwt.

  • Context: 100.000 tokens, prompt plus completion. De completion kan alles gebruiken wat de prompt niet heeft gebruikt, en max_tokens is optioneel.
  • Concurrency en rate: een volledige sleutel staat 8 gelijktijdige verzoeken en 300 per minuut toe; een proefsleutel staat 2 en 60 toe. Een gestreamd verzoek houdt zijn slot vast tot de stream eindigt.
  • Body-grootte: 8 MB per verzoek.
  • 429-responses: de foutcode is rate_limited voor verzoeken per minuut, concurrency voor te veel in één keer, en een Retry-After: 5-header verschijnt bij tijdelijke overbelasting.

Een eenvoudige retry die wacht en het opnieuw probeert, is in de meeste apps voldoende. Als een verzoek faalt omdat de prompt te lang is, behandelt de pagina over contextvenster overschreden fouten oplossingen zoals samenvatten of geschiedenis inkorten.

Response-headers helpen bij monitoring: X-Request-Id om te citeren in een supportticket, X-RateLimit-Limit-Requests en X-RateLimit-Limit-Concurrency voor je caps, en X-Balance-USD voor wat er nog over is.

Een bestaande app verplaatsen

Als je code al een OpenAI-client gebruikt, hoef je hem zelden te herschrijven. De officiële SDKs lezen twee omgevingsvariabelen, dus een switch kan buiten de code plaatsvinden:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Stel vervolgens de modelnaam in op uncensored waar je code ook een model noemt. Drie dingen zijn het controleren waard voordat je live gaat:

  • Functies waarop je vertrouwt. Chat, streaming, tools en JSON-modus werken. Calls naar embeddings-, afbeeldings- of audio-endpoints werken niet, omdat dit een tekst-only service is.
  • Promptlengte. Alles boven de 100.000 tokens in totaal moet eerst worden ingekort of samengevat.
  • Concurrency. Als je app meer dan 8 verzoeken tegelijk kan afvuren, plaats dan een wachtrij of semaphore voor de client, zodat je geen 429-fouten activeert tijdens pieken.

Houd de sleutel op de server. Stuur hem nooit mee in browsercode of een mobiele app, omdat iedereen die hem extraheert je tegoed kan uitgeven. Sla hem op in een omgevingsvariabele of een secrets manager, en draai hem om als hij lekt.

Kosten en facturatie

Facturatie is per token: $0,15 per 1M input en $0,50 per 1M output. Krediet is prepaid en verloopt niet, en er is geen abonnement. Mislukte of geweigerde verzoeken worden niet in rekening gebracht.

Een snel voorbeeld. Een verzoek met 2.000 tokens input en 500 tokens output kost 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Dat is 1.818 zulke verzoeken per dollar. Opwaarderingen zijn elk geheel bedrag van $20 tot $500, per crypto (USDT op TRC20, USDC op Base), met +5% bonus vanaf $50, +10% vanaf $100 en +15% vanaf $200. Zie de prijzenpagina.

Om je saldo in code te controleren, roep GET /v1/balance of de variant in OpenAI-stijl GET /v1/dashboard/billing/credit_grants aan, of lees X-Balance-USD uit elk response.

Gehost of zelf draaien: een snelle check

Een gehoste API past wanneer je snel wilt shippen, ongelijkmatig verkeer hebt, of geen GPU's wilt beheren. Je geeft keuze van model en de mogelijkheid tot fine-tuning op. Prompts worden naar de provider gestuurd, hoewel ze niet voor training worden gebruikt.

Als je het afweegt tegen het draaien van je eigen hardware, vergelijk de per-token cijfers hierboven met je eigen hardware quote. Voor achtergrond over het modeltype, lees wat een ongecensureerd AI-model is. Inhoudelijk is het model afgestemd om zonder weigeringen te antwoorden voor wettelijk volwassen gebruik, met één harde limiet: niets seksueels dat minderjarigen betreft.

Vragen en antwoorden

Wat is een LLM-hosting-API?

Een service die een taalmodel draait op eigen GPU's en het via HTTP blootlegt. Je stuurt prompts en betaalt per token zonder servers te beheren.

Is het compatibel met de OpenAI SDK?

Ja. Stel de base URL in op https://api.uncensoredmodelhub.com/v1, gebruik je sleutel en de model-ID uncensored.

Wat zijn de rate limits?

Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 per minuut toe. Een trialsleutel staat 2 en 60 toe. Bij overschrijding krijg je HTTP 429.

Kan ik fine-tunen of afbeeldingen genereren?

Nee. Het is een tekst-API zonder fine-tuning, embeddings of generatie van afbeeldingen, audio of video.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen