Kısa cevap
Çoğu birey ve küçük ekipler için API, trafik yüksek ve sürekli olmadıkça daha ucuzdur. LLM'yi kendi başınıza barındırma vs. API kararlarında belirleyici değişken kullanım oranıdır: 7/24 ödediğiniz bir GPU, bir milyon token hizmet verse de on tane verse aynı maliyete sahiptir. Token başı ödeme yapan bir API, yalnızca kullanılan tokenlar için ücret alır.
İnce ayar yapmanız gerektiğinde, veriler ağınızdan çıkamadığında, belirli bir modeli çalıştırmanız gerektiğinde veya makineyi işletecek birine sahip olduğunuzda ve istikrarlı yüksek hacminiz olduğunda kendi sunucunda barındırma mantıklıdır. Bir API, bir öğleden sonra çalışmaya başlamak istediğinizde, kullanımın düzensiz olduğu durumda veya bir kişinin her şeyi yaptığı durumlarda mantıklıdır.
Bu makalenin geri kalanı yeniden üretebileceğiniz sayılar içerir. Fiyatlar değiştiği için donanım veya bulut fiyatlarını listelemez; formüllere kendi teklifinizi eklersiniz.
Bir modelin gerçekten hangi donanıma ihtiyacı var
Ana kısıt GPU belleğidir. Ağırlıklar yalnızca yaklaşık olarak parameters × bytes per parameter yer kaplar:
| Model boyutu | 16-bit (2 bayt) | 8-bit (1 bayt) | 4-bit (0.5 bayt) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Bu minimum gereksinimdir. Ayrıca dikkat (attention) önbelleği için belleğe de ihtiyacınız vardır; bu önbellek bağlam uzunluğu ve eşzamanlı istek sayısı ile büyür, ayrıca çalışma zamanı ek yükü de vardır. Birden fazla kullanıcıya aynı anda 100.000 token'lık bir bağlam sunmak, ağırlıklardan çok daha fazla bellek gerektirebilir ve sayılar model mimarisine bağlıdır. Daha küçük kantile edilmiş modeller tek bir tüketici GPU'sunda çalışabilir; büyük modeller ise birden fazla GPU veya kiralanmış bir düğüm ve istekleri gruplamak için vLLM veya llama.cpp gibi bir çıkarım sunucusu gerektirir.
4-bit'e kantile etmek (quantize) kalitede bazı kayıplar pahasına bellek tasarrufu sağlar ve kayıp model ile göreve göre değişir. Kendi istemleriniz üzerinde test etmeniz gerekir.
Donanım teklifinde yer almayan işler
Donanım görünür maliyettir. Daha az görünür kısım operasyondur:
- Kurulum. Sürücüler, CUDA sürümleri, bir çıkarım sunucusu, OpenAI uyumlu katman, kimlik doğrulama ve ters proxy. İlk çalışan kurulum genellikle bir günden fazla sürer; üretim ortamı daha uzun sürer.
- İnce Ayar. Toplu iş boyutları, bağlam sınırları, bellek ayarları ve varsayılan örnekleme parametreleri, 2 kullanıcıya mı yoksa 20 kullanıcıya mı hizmet vereceğinizi belirler.
- Güncellemeler. Yeni model sürümleri, güvenlik yamaları ve çıkarım sunucusu sürümleri düzenli olarak gelir ve bazen sorunlara yol açar.
- İzleme. Gece GPU belleğinin dolduğunu fark edecek birinin olması gerekir.
- Boşta kalma süresi. Kullanılmayan bir makine hala elektrik veya kira maliyeti doğurur.
Zamanınıza saatlik bir değer atayın ve bakım için ayda yaklaşık dört ila sekiz saat ekleyin. Bu sayı, küçük dağıtımlar için elektrik faturasından daha fazla olabilir.
Aynı hacim için API'nin maliyeti
Bu API, ön ödemeli krediden beslenen 1M giriş tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50 ücretlendirir. Abonelik yoktur ve başarısız veya reddedilen istekler için ücret alınmaz. Aylık bazda örnek hesaplamalar:
| Aylık token'lar (giriş / çıktı) | Giriş maliyeti | Çıktı maliyeti | Toplam |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1,000M / 200M | $150,00 | $100,00 | $250,00 |
Girdi-çıktı oranı 5'e 1 olan bir karışım için 6M token 5 × $0,15 + 1 × $0,50 = $1,25 eder veya karma olarak milyon token başına yaklaşık $0,21. Karışımınız farklı olacaktır, bu nedenle kendi ortalama değerlerinizle yeniden hesaplayın. Top-up miktarları ve bonuslar için fiyatlandırma sayfasına bakın.
Başa baş noktanızı bulun
Kendi sunucunuzda barındırmak için her ay ödeyeceğiniz her şeyi toplayın: donanım maliyetini kullanacağınız aylara bölün veya kiralama ücretini; elektrik; ve bakım saatlerinizin değerini. Toplamı F olarak adlandırın. Ardından:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Aylık sabit her $100, bu karışımda API'de yaklaşık 480M token'a eşittir. Gerçek trafiğiniz başa baş noktasının çok altındaysa (ki bu çoğu yan proje, iç araçlar ve küçük ürünler için doğrudur), API daha ucuzdur. Eğer çok üstündeyse ve sabitse, makineyi satın almak kazanabilir. Bu karşılaştırmayı güncel sayılarla kontrol edin, çünkü her iki taraf da değişir.
Kendi başınıza barındırılan kapasitenin de bir tavan olduğunu unutmayın. Bir makine aynı anda yalnızca belirli sayıda isteği karşılayabilir. Burada tam bir anahtarla 8 eşzamanlı istek ve dakikada 300 istek izin verilir ve arkalarındaki kapasite sizin sorununuz değildir.
Barındırılan bir API ile vazgeçtikleriniz
Bir API ücretsiz bir yemek değildir ve bazı limitler açıkça belirtilmeye değer.
- Tek bir model. Bu hizmet, bağımsız bir sağlayıcıdan tek bir açık ağırlıklı model çalıştırır, model ID
uncensored. Bunu değiştiremez veya kendi ağırlıklarınızı yükleyemezsiniz. - Yalnızca metin: resim, ses, video veya embedding yok ve ince ayar yok.
- 100.000 token'lık bağlam penceresi, istem ve tamamlama dahil.
- İstemleriniz ağınızdan ayrılır. Eğitim için kullanılmazlar, ancak politika yerinde işlemeyi gerektiriyorsa, kendi sunucunda barındırma çözümdür.
Karşılığında standart OpenAI arayüzü arkasında akış, fonksiyon çağırma ve JSON modu elde edersiniz; bu nedenle mevcut kod, değiştirilmiş bir base URL ile çalışır. Framework'ler de yardımcı olur; LangChain ile açık kaynak modelleri kullanma notumuz, bir uç noktaya nasıl yönlendirileceğini gösterir.
Karar vermek için ucuz bir yol
Gerekip gerekmediğini anlamak için donanım satın almayın. Önce gerçek yükünüzü bir API üzerinden çalıştırın, aylık token sayısını ölçün ve ancak o zaman bir barındırma fiyat teklifi ile karşılaştırın. API anahtarı sayfasında $0,50 değerinde tek tıkla bir deneme mevcuttur ve istek, standart OpenAI isteğidir:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
Yanıt bir kullanım nesnesi ve bir X-Balance-USD başlığı içerir; bu nedenle normal kullanımın bir haftası size gerçek bir aylık rakam verir. Bu rakam başa baş noktasına yakınsa, karar vermek için veriye sahip olursunuz. Kurulum ayrıntıları dokümantasyonda yer alır. İlgili model türü hakkında bilgi için sansürsüz bir AI modelinin ne olduğuna bakın.

