Co obsługuje hosting dla Ciebie
Uruchomienie modelu językowego w produkcji to nie tylko pobranie wag. Hostowane API przejmuje następujące zadania, dzięki czemu Twój kod nie musi tego robić:
| Obsługiwane przez hosta | Nadal Twoje |
|---|---|
| GPU, sterowniki i serwer wnioskowania | Pisanie i testowanie promptów |
| Ładowanie modelu i utrzymywanie go w gotowości | Wybór temperatury, max_tokens i innych ustawień |
| Grupowanie wielu zapytań | Logika ponawiania dla odpowiedzi 429 |
| Uwierzytelnianie i limit zapytań | Utrzymanie klucza API w sekrecie |
| Metryka i przedpłacony kredyt | Obserwowanie wydatków |
| Aktualizacje oprogramowania po stronie serwera | Obsługa wyjścia modelu w Twojej aplikacji |
Usługa to kompatybilny z OpenAI chat API obsługujący jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę. Nie jest to oficjalne API żadnego dostawcy modeli ani router między wieloma. Tylko tekst: bez generowania obrazów, audio lub wideo, bez embeddingów i bez fine-tuningu.
Twoje pierwsze zapytanie
Utwórz konto za pomocą Google lub e-maila i hasła, a następnie skopiuj klucz ze strony klucza API. Zgłoszenie jednoklikowego trialu dodaje $0,50 kredytu, ważnego przez 7 dni, bez karty.
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
Te same endpointy obejmują również POST /v1/responses oraz GET /v1/models. Dokumentacja wymienia parametry.
Strumieniowanie, narzędzia i tryb JSON
Większość tego, czego programiści używają z API czatu, jest dostępna.
- Strumieniowanie. Ustaw
stream: true, aby otrzymywać zdarzenia wysyłane przez serwer, gdy generowane są tokeny; użycie jest raportowane na końcu. Interfejsy czatu zależą od tego. - Wywoływanie narzędzi. Przekaż
toolsitool_choice, odczytajtool_callsz odpowiedzi (również strumieniują) i zwróć wyniki jako wiadomości zrole: "tool". - Tryb JSON.
response_format: {"type":"json_object"}sprawia, że model zwraca obiekt JSON, przydatny do ekstrakcji i klasyfikacji. - Sterowanie próbkowaniem. temperature, top_p, stop, seed i kary są przekazywane dalej.
Wywołanie strumieniowania w Pythonie wygląda tak:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Biblioteki, które już obsługują format OpenAI, takie jak LangChain, działają po zmianie Base URL; nasza strona o LangChain z modelami open-source pokazuje przykład.
Limity i sposób ich obsługi
Hosting jest współdzielony, więc istnieją limity. Poznaj je przed zbudowaniem pętli wokół API.
- Kontekst: 100 000 tokenów, prompt plus completion. Completion może wykorzystać wszystko, czego nie zużył prompt, a
max_tokensjest opcjonalne. - Równoległość i limit: pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę; klucz próbny pozwala na 2 i 60. Zapytanie strumieniowe zajmuje slot do końca strumienia.
- Rozmiar treści: 8 MB na zapytanie.
- Odpowiedzi 429: kod błędu to
rate_limiteddla zapytań na minutę,concurrencydla zbyt wielu naraz, a nagłówekRetry-After: 5pojawia się przy tymczasowym przeciążeniu.
W większości aplikacji wystarczy prosta próba ponowna z oczekiwaniem i ponownym wysłaniem żądania. Jeśli żądanie nie powiedzie się z powodu zbyt długiego promptu, strona o przekroczeniu okna kontekstu zawiera rozwiązania, takie jak podsumowanie lub obcięcie historii.
Nagłówki odpowiedzi pomagają w monitorowaniu: X-Request-Id do podania w zgłoszeniu do supportu, X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency dla Twoich limitów oraz X-Balance-USD pokazujący pozostałe środki.
Przeniesienie istniejącej aplikacji
Jeśli Twój kod już używa klienta OpenAI, rzadko będziesz musiał go przepisywać. Oficjalne SDK odczytują dwie zmienne środowiskowe, więc przełączenie może nastąpić poza kodem:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
Następnie ustaw nazwę modelu na uncensored wszędzie tam, gdzie Twój kod wskazuje model. Przed uruchomieniem na produkcji warto sprawdzić trzy rzeczy:
- Funkcje, na których polegasz. Działają czat, strumieniowanie, narzędzia i tryb JSON. Wywołania embeddingów, endpointów obrazu lub dźwięku nie zadziałają, ponieważ jest to usługa tekstowa.
- Długość promptu. Wszystko powyżej 100 000 tokenów łącznie musi zostać najpierw obcięte lub podsumowane.
- Równoległość. Jeśli Twoja aplikacja może wysłać więcej niż 8 żądań naraz, dodaj kolejkę lub semafor przed klientem, aby nie wywoływać błędów 429 w szczytowych momentach.
Przechowuj klucz na serwerze. Nigdy nie wysyłaj go w kodzie przeglądarki ani aplikacji mobilnej, ponieważ każdy, kto go wyekstrahuje, może wydać Twoje środki. Przechowuj go w zmiennej środowiskowej lub menedżerze sekretów i rotuj go, jeśli dojdzie do wycieku.
Koszt i rozliczenia
Rozliczanie jest za tokeny: $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych. Kredyt jest przedpłacony i nie wygasa, a subskrypcja nie istnieje. Nieudane lub odrzucone żądania nie są rozliczane.
Krótki przykład. Żądanie z 2 000 tokenami wejściowymi i 500 tokenami wyjściowymi kosztuje 2 000 × $0,15 / 1 mln + 500 × $0,50 / 1 mln = $0,0003 + $0,00025 = $0,00055. To 1 818 takich żądań za dolar. Doładowania przyjmują dowolną kwotę całkowitą od $20 do $500 kryptowalutami (USDT w sieci TRC20, USDC na Base), z bonusem +5% od $50, +10% od $100 i +15% od $200. Zobacz stronę z cenami.
Aby sprawdzić saldo w kodzie, wywołaj GET /v1/balance lub kompatybilny z OpenAI GET /v1/dashboard/billing/credit_grants, lub odczytaj X-Balance-USD z dowolnej odpowiedzi.
Hostowane czy samodzielne: szybkie sprawdzenie
Hostowane API pasuje, gdy chcesz szybko wypuścić produkt, masz nierówny ruch lub nie chcesz zarządzać GPU. Rezygnujesz z wyboru modelu i możliwości fine-tuningu. Prompty są wysyłane do dostawcy, choć nie są używane do trenowania.
Jeśli rozważasz to w porównaniu do uruchomienia własnego sprzętu, porównaj powyższe stawki za token z wyceną własnego sprzętu. W tle dotyczącym typu modelu przeczytaj co to jest model bez cenzury. Pod względem treści model jest dostrojony do odpowiadania bez odmów dla prawnego użytku dorosłych, z jednym twardym limitem: nic seksualnego z udziałem nieletnich.

