PL ▾

Uncensored Model HubWłasny LLM vs API: Koszt, wysiłek i próg opłacalności

Własny LLM vs API: Koszt, wysiłek i próg opłacalności

Pytanie o własny LLM vs API to głównie arytmetyka i szczere spojrzenie na twój czas. Uruchomienie modelu samodzielnie daje kontrolę i stały rachunek; API daje zero konfiguracji i rachunek zależny od zużycia. Oto jak obliczyć, co wygrywa dla twojego wolumenu.

Zaktualizowano

Waga równoważąca szafę serwerową z węzłem chmurowym i monetami, porównująca własne hostowanie z API
Połączenia łańcucha szkła łączące modułowe bloki z sześcianem serwera, ilustrujące LangChain z API modelu o otwartych wagach

Kluczowe punkty

  1. Model potrzebuje około 0,5 bajta na parametr przy 4-bitach i 2 bajty przy 16-bitach, przed buforem i narzutami, więc model 70B potrzebuje około 35 GB do 140 GB pamięci GPU.
  2. Po cenie $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, 100 mln tokenów wejściowych plus 20 mln tokenów wyjściowych miesięcznie kosztuje $25.
  3. Własne hostowanie wygrywa przy dostrajaniu, pracy offline i bardzo dużym stałym wolumenie; API wygrywa przy niskim lub szpiczastym ruchu.
  4. Policz własne godziny: aktualizacje, sterowniki i monitoring to część kosztu.

Krótka odpowiedź

Dla większości osób i małych zespołów API jest tańsze, dopóki ruch nie jest duży i stały. Przy decyzjach o własnym LLM vs API kluczową zmienną jest wykorzystanie: GPU, za które płacisz całą dobę, kosztuje tyle samo, czy obsługuje milion tokenów, czy dziesięć. API z opłatą za token nalicza opłaty tylko za użyte tokeny.

Własne hostowanie ma sens, gdy musisz dostrajać model, gdy dane nie mogą opuścić twojej sieci, gdy musisz uruchomić konkretny model lub gdy masz stały duży wolumen i osobę do obsługi maszyny. API ma sens, gdy chcesz mieć gotowe rozwiązanie po południu, gdy użycie jest nierówne lub gdy jedna osoba robi wszystko.

Pozostała część tego artykułu podaje liczby, które możesz odtworzyć. Nie cytujemy cen sprzętu ani chmury, bo się zmieniają; dodasz własną wycenę do wzorów.

Jaki sprzęt naprawdę potrzebuje model

Głównym ograniczeniem jest pamięć GPU. Same wagi zajmują około parameters × bytes per parameter:

Rozmiar modelu16-bit (2 bajty)8-bit (1 bajt)4-bit (0,5 bajta)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

To jest minimum. Potrzebujesz też pamięci na bufor uwagi, który rośnie wraz z długością kontekstu i liczbą jednoczesnych zapytań, plus narzut środowiska uruchomieniowego. Obsługa kontekstu 100 000 tokenów dla kilku użytkowników naraz może zająć znacznie więcej pamięci niż wagi, a liczby zależą od architektury modelu. Mniejsze modele kwantyzowane działają na jednym konsumenckim GPU; duże wymagają kilku GPU lub wynajętego węzła oraz serwera inferencji, takiego jak vLLM lub llama.cpp do grupowania zapytań.

Kwantyzacja do 4-bit oszczędza pamięć kosztem jakości, a ta strata różni się w zależności od modelu i zadania. Musisz przetestować to na swoich promptach.

Wkład pracy, którego nie ma w wycenie sprzętu

Sprzęt to widoczny koszt. Mniej widoczną częścią są operacje:

  • Konfiguracja. Sterowniki, wersje CUDA, serwer inferencji, warstwa kompatybilna z OpenAI, uwierzytelnianie i reverse proxy. Pierwsze działające środowisko często zajmuje dzień lub więcej; produkcyjne trwa dłużej.
  • Dopracowywanie. Rozmiary partii, limity kontekstu, ustawienia pamięci i domyślne parametry próbkowania decydują o tym, czy obsłużysz 2 użytkowników, czy 20.
  • Aktualizacje. Nowe wersje modeli, łatki bezpieczeństwa i wydania serwerów wnioskowania pojawiają się regularnie i czasem coś psują.
  • Monitoring. Ktoś musi zauważyć, gdy GPU brakuje pamięci w nocy.
  • Czas bezczynności. Maszyna, która stoi nieużywana, nadal kosztuje prąd lub czynsz.

Wycenij swoją godzinę i dodaj około cztery do ośmiu godzin miesięcznie na konserwację. Ta liczba często przewyższa rachunek za prąd przy małych wdrożeniach.

Ile kosztuje API przy tym samym wolumenie

To API nalicza $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych z przedpłaconego kredytu, który nigdy nie wygasa. Nie ma subskrypcji, a nieudane lub odrzucone zapytania nie są rozliczane. Przykłady obliczeń, miesiąc po miesiącu:

Miesięczne tokeny (wejście / wyjście)Koszt wejściaKoszt wyjściaRazem
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1.000M / 200M$150,00$100,00$250,00

Dla proporcji wejścia do wyjścia 5:1, 6 mln tokenów kosztuje 5 × $0,15 + 1 × $0,50 = $1,25, czyli około $0,21 za milion tokenów łącznie (średnio). Twoja proporcja będzie inna, więc przelicz ją na swoich średnich. Zobacz stronę z cenami, aby poznać kwoty doładowań i bonusy.

Znajdź swój próg opłacalności

Zsumuj wszystko, co zapłacisz miesięcznie za własne hostowanie: koszt sprzętu podzielony przez miesiące użytkowania lub opłatę za wynajem; prąd; i wartość Twoich godzin konserwacji. Nazwijmy tę kwotę F. Następnie:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Każde $100 miesięcznych kosztów stałych odpowiada około 480 mln tokenów w API przy tej proporcji. Jeśli Twój rzeczywisty ruch jest znacznie poniżej progu opłacalności, co jest prawdą dla większości projektów pobocznych, narzędzi wewnętrznych i małych produktów, API jest tańsze. Jeśli jest znacznie powyżej i stałe, posiadanie maszyny może wygrać. Sprawdź to porównanie przy użyciu aktualnych liczb, ponieważ obie strony się zmieniają.

Pamiętaj, że pojemność własnej infrastruktury to też sufit. Jeden serwer obsługuje tylko określoną liczbę zapytań naraz. Przy standardowym kluczu API tutaj dozwolone są 8 równoległych zapytań i 300 na minutę, a pojemność za nimi nie jest Twoim problemem.

Na co rezygnujesz z API hostowanego

API to nie darmowa uczta, a niektóre limity warto przedstawić wprost.

  • Jeden model. Ta usługa uruchamia pojedynczy model o otwartych wagach od niezależnego dostawcy, model ID uncensored. Nie możesz go zamienić ani załadować własnych wag.
  • Tylko tekst: bez obrazów, audio, wideo ani osadzania i bez dostrajania.
  • Kontekst 100 000 tokenów, prompt plus uzupełnienie.
  • Twoje prompty opuszczają Twoją sieć. Nie są używane do trenowania, ale jeśli polityka wymaga przetwarzania on-premises, własne hostowanie jest odpowiedzią.

W zamian otrzymasz strumieniowanie, wywoływanie funkcji i tryb JSON za pośrednictwem standardowego interfejsu OpenAI, więc istniejący kod działa po zmianie bazowego URL. Frameworki też pomagają; nasz przewodnik używania modeli open-source z LangChain pokazuje, jak wskazać mu taki endpoint.

Tani sposób na podjęcie decyzji

Nie kupuj sprzętu, żeby sprawdzić, czy jest Ci potrzebny. Przetestuj swoje rzeczywiste obciążenie przez API, zmierz liczbę tokenów miesięcznie, a dopiero potem porównaj to z ofertą hostingu. Dostępny jest próbny kredyt $0,50 jednym kliknięciem na stronie klucza API, a wywołanie jest standardowe dla OpenAI:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Odpowiedź zawiera obiekt użycia i nagłówek X-Balance-USD, więc tydzień normalnego użytku daje Ci rzeczywistą miesięczną liczbę. Jeśli ta liczba będzie bliska progu rentowności, masz dane do podjęcia decyzji. Szczegóły konfiguracji znajdziesz w dokumentacji. Aby poznać tło modelu, zobacz co to jest model AI bez cenzury.

Pytania i odpowiedzi

Czy własne hostowanie LLM jest tańsze niż API?

Tylko przy wysokim, stałym wolumenie. GPU kosztuje tyle samo w stanie bezczynności, jak i podczas pracy, podczas gdy API nalicza opłaty za token. Oblicz swój próg rentowności za pomocą powyższego wzoru.

Ile pamięci GPU potrzebuję?

Wagi zajmują około 2 bajty na parametr w precyzji 16-bitowej i 0,5 bajtu w precyzji 4-bitowej, więc model 70B wymaga około 140 GB lub 35 GB, plus pamięć na bufor kontekstu.

Czy mogę fine-tunować na tym API?

Nie. To wnioskowanie tylko na tekście bez dostrajania wag lub osadzania. Jeśli potrzebujesz własnych wag, właściwą drogą jest własny hosting.

Ile kosztuje to API?

$0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, przedpłacone, bez subskrypcji, a nieudane zapytania nie są rozliczane.

Czy trenujecie model na moich promptach?

Nie. Prompty nie są używane do trenowania.

Twój klucz jest gotowy po wypełnieniu jednego formularza

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API