Krótka odpowiedź
Dla większości osób i małych zespołów API jest tańsze, dopóki ruch nie jest duży i stały. Przy decyzjach o własnym LLM vs API kluczową zmienną jest wykorzystanie: GPU, za które płacisz całą dobę, kosztuje tyle samo, czy obsługuje milion tokenów, czy dziesięć. API z opłatą za token nalicza opłaty tylko za użyte tokeny.
Własne hostowanie ma sens, gdy musisz dostrajać model, gdy dane nie mogą opuścić twojej sieci, gdy musisz uruchomić konkretny model lub gdy masz stały duży wolumen i osobę do obsługi maszyny. API ma sens, gdy chcesz mieć gotowe rozwiązanie po południu, gdy użycie jest nierówne lub gdy jedna osoba robi wszystko.
Pozostała część tego artykułu podaje liczby, które możesz odtworzyć. Nie cytujemy cen sprzętu ani chmury, bo się zmieniają; dodasz własną wycenę do wzorów.
Jaki sprzęt naprawdę potrzebuje model
Głównym ograniczeniem jest pamięć GPU. Same wagi zajmują około parameters × bytes per parameter:
| Rozmiar modelu | 16-bit (2 bajty) | 8-bit (1 bajt) | 4-bit (0,5 bajta) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
To jest minimum. Potrzebujesz też pamięci na bufor uwagi, który rośnie wraz z długością kontekstu i liczbą jednoczesnych zapytań, plus narzut środowiska uruchomieniowego. Obsługa kontekstu 100 000 tokenów dla kilku użytkowników naraz może zająć znacznie więcej pamięci niż wagi, a liczby zależą od architektury modelu. Mniejsze modele kwantyzowane działają na jednym konsumenckim GPU; duże wymagają kilku GPU lub wynajętego węzła oraz serwera inferencji, takiego jak vLLM lub llama.cpp do grupowania zapytań.
Kwantyzacja do 4-bit oszczędza pamięć kosztem jakości, a ta strata różni się w zależności od modelu i zadania. Musisz przetestować to na swoich promptach.
Wkład pracy, którego nie ma w wycenie sprzętu
Sprzęt to widoczny koszt. Mniej widoczną częścią są operacje:
- Konfiguracja. Sterowniki, wersje CUDA, serwer inferencji, warstwa kompatybilna z OpenAI, uwierzytelnianie i reverse proxy. Pierwsze działające środowisko często zajmuje dzień lub więcej; produkcyjne trwa dłużej.
- Dopracowywanie. Rozmiary partii, limity kontekstu, ustawienia pamięci i domyślne parametry próbkowania decydują o tym, czy obsłużysz 2 użytkowników, czy 20.
- Aktualizacje. Nowe wersje modeli, łatki bezpieczeństwa i wydania serwerów wnioskowania pojawiają się regularnie i czasem coś psują.
- Monitoring. Ktoś musi zauważyć, gdy GPU brakuje pamięci w nocy.
- Czas bezczynności. Maszyna, która stoi nieużywana, nadal kosztuje prąd lub czynsz.
Wycenij swoją godzinę i dodaj około cztery do ośmiu godzin miesięcznie na konserwację. Ta liczba często przewyższa rachunek za prąd przy małych wdrożeniach.
Ile kosztuje API przy tym samym wolumenie
To API nalicza $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych z przedpłaconego kredytu, który nigdy nie wygasa. Nie ma subskrypcji, a nieudane lub odrzucone zapytania nie są rozliczane. Przykłady obliczeń, miesiąc po miesiącu:
| Miesięczne tokeny (wejście / wyjście) | Koszt wejścia | Koszt wyjścia | Razem |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1.000M / 200M | $150,00 | $100,00 | $250,00 |
Dla proporcji wejścia do wyjścia 5:1, 6 mln tokenów kosztuje 5 × $0,15 + 1 × $0,50 = $1,25, czyli około $0,21 za milion tokenów łącznie (średnio). Twoja proporcja będzie inna, więc przelicz ją na swoich średnich. Zobacz stronę z cenami, aby poznać kwoty doładowań i bonusy.
Znajdź swój próg opłacalności
Zsumuj wszystko, co zapłacisz miesięcznie za własne hostowanie: koszt sprzętu podzielony przez miesiące użytkowania lub opłatę za wynajem; prąd; i wartość Twoich godzin konserwacji. Nazwijmy tę kwotę F. Następnie:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Każde $100 miesięcznych kosztów stałych odpowiada około 480 mln tokenów w API przy tej proporcji. Jeśli Twój rzeczywisty ruch jest znacznie poniżej progu opłacalności, co jest prawdą dla większości projektów pobocznych, narzędzi wewnętrznych i małych produktów, API jest tańsze. Jeśli jest znacznie powyżej i stałe, posiadanie maszyny może wygrać. Sprawdź to porównanie przy użyciu aktualnych liczb, ponieważ obie strony się zmieniają.
Pamiętaj, że pojemność własnej infrastruktury to też sufit. Jeden serwer obsługuje tylko określoną liczbę zapytań naraz. Przy standardowym kluczu API tutaj dozwolone są 8 równoległych zapytań i 300 na minutę, a pojemność za nimi nie jest Twoim problemem.
Na co rezygnujesz z API hostowanego
API to nie darmowa uczta, a niektóre limity warto przedstawić wprost.
- Jeden model. Ta usługa uruchamia pojedynczy model o otwartych wagach od niezależnego dostawcy, model ID
uncensored. Nie możesz go zamienić ani załadować własnych wag. - Tylko tekst: bez obrazów, audio, wideo ani osadzania i bez dostrajania.
- Kontekst 100 000 tokenów, prompt plus uzupełnienie.
- Twoje prompty opuszczają Twoją sieć. Nie są używane do trenowania, ale jeśli polityka wymaga przetwarzania on-premises, własne hostowanie jest odpowiedzią.
W zamian otrzymasz strumieniowanie, wywoływanie funkcji i tryb JSON za pośrednictwem standardowego interfejsu OpenAI, więc istniejący kod działa po zmianie bazowego URL. Frameworki też pomagają; nasz przewodnik używania modeli open-source z LangChain pokazuje, jak wskazać mu taki endpoint.
Tani sposób na podjęcie decyzji
Nie kupuj sprzętu, żeby sprawdzić, czy jest Ci potrzebny. Przetestuj swoje rzeczywiste obciążenie przez API, zmierz liczbę tokenów miesięcznie, a dopiero potem porównaj to z ofertą hostingu. Dostępny jest próbny kredyt $0,50 jednym kliknięciem na stronie klucza API, a wywołanie jest standardowe dla OpenAI:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
Odpowiedź zawiera obiekt użycia i nagłówek X-Balance-USD, więc tydzień normalnego użytku daje Ci rzeczywistą miesięczną liczbę. Jeśli ta liczba będzie bliska progu rentowności, masz dane do podjęcia decyzji. Szczegóły konfiguracji znajdziesz w dokumentacji. Aby poznać tło modelu, zobacz co to jest model AI bez cenzury.

