PL ▾

Uncensored Model HubAPI hostingu LLM: co dostajesz, a co pomijasz

API hostingu LLM: co dostajesz, a co pomijasz

API hostingu LLM oznacza, że ktoś inny zarządza GPU, ładuje model i utrzymuje serwer, a Ty wysyłasz żądania HTTP. Płacisz za tokeny i pomijasz infrastrukturę. Ta strona opisuje, co jest obsługiwane za Ciebie, co nadal spada na Ciebie oraz pierwsze żądanie w trzech językach.

Zaktualizowano

Szklany wieżowy serwer połączony jednym świecącym kablem z laptopem, reprezentujący hostowane API LLM
Połączenia łańcucha szkła łączące modułowe bloki z sześcianem serwera, ilustrujące LangChain z API modelu o otwartych wagach

Kluczowe punkty

  1. Hosting obejmuje GPU, ładowanie modelu, batchowanie, skalowanie i endpoint HTTP; Ty dostarczasz prompty i klucz.
  2. Interfejs jest kompatybilny z OpenAI: zmień base URL na https://api.uncensoredmodelhub.com/v1 i użyj modelu uncensored.
  3. Obsługiwane są strumieniowanie, wywoływanie funkcji i tryb JSON; brak endpointu do obrazów, dźwięku, embeddingów ani fine-tuningu.
  4. Limity do uwzględnienia: 100 000 tokenów kontekstu, 8 równoległych zapytań i 300 na minutę przy pełnym kluczu.

Co obsługuje hosting dla Ciebie

Uruchomienie modelu językowego w produkcji to nie tylko pobranie wag. Hostowane API przejmuje następujące zadania, dzięki czemu Twój kod nie musi tego robić:

Obsługiwane przez hostaNadal Twoje
GPU, sterowniki i serwer wnioskowaniaPisanie i testowanie promptów
Ładowanie modelu i utrzymywanie go w gotowościWybór temperatury, max_tokens i innych ustawień
Grupowanie wielu zapytańLogika ponawiania dla odpowiedzi 429
Uwierzytelnianie i limit zapytańUtrzymanie klucza API w sekrecie
Metryka i przedpłacony kredytObserwowanie wydatków
Aktualizacje oprogramowania po stronie serweraObsługa wyjścia modelu w Twojej aplikacji

Usługa to kompatybilny z OpenAI chat API obsługujący jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę. Nie jest to oficjalne API żadnego dostawcy modeli ani router między wieloma. Tylko tekst: bez generowania obrazów, audio lub wideo, bez embeddingów i bez fine-tuningu.

Twoje pierwsze zapytanie

Utwórz konto za pomocą Google lub e-maila i hasła, a następnie skopiuj klucz ze strony klucza API. Zgłoszenie jednoklikowego trialu dodaje $0,50 kredytu, ważnego przez 7 dni, bez karty.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Te same endpointy obejmują również POST /v1/responses oraz GET /v1/models. Dokumentacja wymienia parametry.

Strumieniowanie, narzędzia i tryb JSON

Większość tego, czego programiści używają z API czatu, jest dostępna.

  • Strumieniowanie. Ustaw stream: true, aby otrzymywać zdarzenia wysyłane przez serwer, gdy generowane są tokeny; użycie jest raportowane na końcu. Interfejsy czatu zależą od tego.
  • Wywoływanie narzędzi. Przekaż tools i tool_choice, odczytaj tool_calls z odpowiedzi (również strumieniują) i zwróć wyniki jako wiadomości z role: "tool".
  • Tryb JSON. response_format: {"type":"json_object"} sprawia, że model zwraca obiekt JSON, przydatny do ekstrakcji i klasyfikacji.
  • Sterowanie próbkowaniem. temperature, top_p, stop, seed i kary są przekazywane dalej.

Wywołanie strumieniowania w Pythonie wygląda tak:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Biblioteki, które już obsługują format OpenAI, takie jak LangChain, działają po zmianie Base URL; nasza strona o LangChain z modelami open-source pokazuje przykład.

Limity i sposób ich obsługi

Hosting jest współdzielony, więc istnieją limity. Poznaj je przed zbudowaniem pętli wokół API.

  • Kontekst: 100 000 tokenów, prompt plus completion. Completion może wykorzystać wszystko, czego nie zużył prompt, a max_tokens jest opcjonalne.
  • Równoległość i limit: pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę; klucz próbny pozwala na 2 i 60. Zapytanie strumieniowe zajmuje slot do końca strumienia.
  • Rozmiar treści: 8 MB na zapytanie.
  • Odpowiedzi 429: kod błędu to rate_limited dla zapytań na minutę, concurrency dla zbyt wielu naraz, a nagłówek Retry-After: 5 pojawia się przy tymczasowym przeciążeniu.

W większości aplikacji wystarczy prosta próba ponowna z oczekiwaniem i ponownym wysłaniem żądania. Jeśli żądanie nie powiedzie się z powodu zbyt długiego promptu, strona o przekroczeniu okna kontekstu zawiera rozwiązania, takie jak podsumowanie lub obcięcie historii.

Nagłówki odpowiedzi pomagają w monitorowaniu: X-Request-Id do podania w zgłoszeniu do supportu, X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency dla Twoich limitów oraz X-Balance-USD pokazujący pozostałe środki.

Przeniesienie istniejącej aplikacji

Jeśli Twój kod już używa klienta OpenAI, rzadko będziesz musiał go przepisywać. Oficjalne SDK odczytują dwie zmienne środowiskowe, więc przełączenie może nastąpić poza kodem:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Następnie ustaw nazwę modelu na uncensored wszędzie tam, gdzie Twój kod wskazuje model. Przed uruchomieniem na produkcji warto sprawdzić trzy rzeczy:

  • Funkcje, na których polegasz. Działają czat, strumieniowanie, narzędzia i tryb JSON. Wywołania embeddingów, endpointów obrazu lub dźwięku nie zadziałają, ponieważ jest to usługa tekstowa.
  • Długość promptu. Wszystko powyżej 100 000 tokenów łącznie musi zostać najpierw obcięte lub podsumowane.
  • Równoległość. Jeśli Twoja aplikacja może wysłać więcej niż 8 żądań naraz, dodaj kolejkę lub semafor przed klientem, aby nie wywoływać błędów 429 w szczytowych momentach.

Przechowuj klucz na serwerze. Nigdy nie wysyłaj go w kodzie przeglądarki ani aplikacji mobilnej, ponieważ każdy, kto go wyekstrahuje, może wydać Twoje środki. Przechowuj go w zmiennej środowiskowej lub menedżerze sekretów i rotuj go, jeśli dojdzie do wycieku.

Koszt i rozliczenia

Rozliczanie jest za tokeny: $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych. Kredyt jest przedpłacony i nie wygasa, a subskrypcja nie istnieje. Nieudane lub odrzucone żądania nie są rozliczane.

Krótki przykład. Żądanie z 2 000 tokenami wejściowymi i 500 tokenami wyjściowymi kosztuje 2 000 × $0,15 / 1 mln + 500 × $0,50 / 1 mln = $0,0003 + $0,00025 = $0,00055. To 1 818 takich żądań za dolar. Doładowania przyjmują dowolną kwotę całkowitą od $20 do $500 kryptowalutami (USDT w sieci TRC20, USDC na Base), z bonusem +5% od $50, +10% od $100 i +15% od $200. Zobacz stronę z cenami.

Aby sprawdzić saldo w kodzie, wywołaj GET /v1/balance lub kompatybilny z OpenAI GET /v1/dashboard/billing/credit_grants, lub odczytaj X-Balance-USD z dowolnej odpowiedzi.

Hostowane czy samodzielne: szybkie sprawdzenie

Hostowane API pasuje, gdy chcesz szybko wypuścić produkt, masz nierówny ruch lub nie chcesz zarządzać GPU. Rezygnujesz z wyboru modelu i możliwości fine-tuningu. Prompty są wysyłane do dostawcy, choć nie są używane do trenowania.

Jeśli rozważasz to w porównaniu do uruchomienia własnego sprzętu, porównaj powyższe stawki za token z wyceną własnego sprzętu. W tle dotyczącym typu modelu przeczytaj co to jest model bez cenzury. Pod względem treści model jest dostrojony do odpowiadania bez odmów dla prawnego użytku dorosłych, z jednym twardym limitem: nic seksualnego z udziałem nieletnich.

Pytania i odpowiedzi

Czym jest API hostingu LLM?

Usługa uruchamiająca model językowy na własnych GPU i udostępniająca go przez HTTP. Wysyłasz prompty i płacisz za token, nie zarządzając serwerami.

Czy jest kompatybilny z OpenAI SDK?

Tak. Ustaw base URL na https://api.uncensoredmodelhub.com/v1, użyj swojego klucza i identyfikatora modelu uncensored.

Jakie są limity zapytań?

Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Klucz próbny pozwala na 2 i 60. Po przekroczeniu limitu otrzymujesz HTTP 429.

Czy mogę fine-tunować lub generować obrazy?

Nie. To API wyłącznie tekstowe, bez fine-tuningu, embeddingów ani generowania obrazów, dźwięku czy wideo.

Twój klucz jest tylko o jedno wypełnienie formularza

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API