TR ▾

Uncensored Model HubLLM'leri Kendi Sunucunda Barındırma vs API: Maliyet, Çaba ve Başa Baş Noktası

LLM'i Kendi Sunucunda Barındırma vs API: Maliyet, Çaba ve Başa Baş Noktası

Kendi kendine barındırılan LLM ile API sorusu çoğunlukla aritmetiğe ve kendi zamanınıza dürüst bir bakışa dayanır. Modeli kendi başınıza çalıştırmak kontrol ve sabit bir fatura sunarken; bir API sıfır kurulum ve kullanım bazlı fatura sağlar. Hangisinin hacminiz için daha uygun olduğunu nasıl hesaplayacağınız burada.

güncellendi

Kendi sunucusunda barındırma ile API'yi karşılaştıran bir sunucu rafı, bulut düğümü ve madeni paralar üzerinde bir baskül terazisi
Modüler blokları bir sunucu küpüne bağlayan cam zincir bağlantıları, açık ağırlıklı bir model API'si ile LangChain'i gösterir

Temel noktalar

  1. Bir model 4-bit'te parametre başına yaklaşık 0.5 bayt ve 16-bit'te 2 bayt yer kaplar; önbellek ve ek yükler hariçtir. Bu nedenle 70B bir model yaklaşık 35 GB ile 140 GB arasında GPU belleği gerektirir.
  2. Giriş başına 1M token için $0,15 ve çıktı başına 1M token için $0,50 ile, ayda 100M giriş ve 20M çıktı token'ı $25'e mal olur.
  3. İnce ayar, çevrimdışı kullanım ve çok yüksek istikrarlı hacim için kendi sunucunda barındırma kazanır; düşük veya dalgalı trafik için API kazanır.
  4. Kendi saatlerinizi sayın: güncellemeler, sürücüler ve izleme maliyetin bir parçasıdır.

Kısa cevap

Çoğu birey ve küçük ekipler için API, trafik yüksek ve sürekli olmadıkça daha ucuzdur. LLM'yi kendi başınıza barındırma vs. API kararlarında belirleyici değişken kullanım oranıdır: 7/24 ödediğiniz bir GPU, bir milyon token hizmet verse de on tane verse aynı maliyete sahiptir. Token başı ödeme yapan bir API, yalnızca kullanılan tokenlar için ücret alır.

İnce ayar yapmanız gerektiğinde, veriler ağınızdan çıkamadığında, belirli bir modeli çalıştırmanız gerektiğinde veya makineyi işletecek birine sahip olduğunuzda ve istikrarlı yüksek hacminiz olduğunda kendi sunucunda barındırma mantıklıdır. Bir API, bir öğleden sonra çalışmaya başlamak istediğinizde, kullanımın düzensiz olduğu durumda veya bir kişinin her şeyi yaptığı durumlarda mantıklıdır.

Bu makalenin geri kalanı yeniden üretebileceğiniz sayılar içerir. Fiyatlar değiştiği için donanım veya bulut fiyatlarını listelemez; formüllere kendi teklifinizi eklersiniz.

Bir modelin gerçekten hangi donanıma ihtiyacı var

Ana kısıt GPU belleğidir. Ağırlıklar yalnızca yaklaşık olarak parameters × bytes per parameter yer kaplar:

Model boyutu16-bit (2 bayt)8-bit (1 bayt)4-bit (0.5 bayt)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Bu minimum gereksinimdir. Ayrıca dikkat (attention) önbelleği için belleğe de ihtiyacınız vardır; bu önbellek bağlam uzunluğu ve eşzamanlı istek sayısı ile büyür, ayrıca çalışma zamanı ek yükü de vardır. Birden fazla kullanıcıya aynı anda 100.000 token'lık bir bağlam sunmak, ağırlıklardan çok daha fazla bellek gerektirebilir ve sayılar model mimarisine bağlıdır. Daha küçük kantile edilmiş modeller tek bir tüketici GPU'sunda çalışabilir; büyük modeller ise birden fazla GPU veya kiralanmış bir düğüm ve istekleri gruplamak için vLLM veya llama.cpp gibi bir çıkarım sunucusu gerektirir.

4-bit'e kantile etmek (quantize) kalitede bazı kayıplar pahasına bellek tasarrufu sağlar ve kayıp model ile göreve göre değişir. Kendi istemleriniz üzerinde test etmeniz gerekir.

Donanım teklifinde yer almayan işler

Donanım görünür maliyettir. Daha az görünür kısım operasyondur:

  • Kurulum. Sürücüler, CUDA sürümleri, bir çıkarım sunucusu, OpenAI uyumlu katman, kimlik doğrulama ve ters proxy. İlk çalışan kurulum genellikle bir günden fazla sürer; üretim ortamı daha uzun sürer.
  • İnce Ayar. Toplu iş boyutları, bağlam sınırları, bellek ayarları ve varsayılan örnekleme parametreleri, 2 kullanıcıya mı yoksa 20 kullanıcıya mı hizmet vereceğinizi belirler.
  • Güncellemeler. Yeni model sürümleri, güvenlik yamaları ve çıkarım sunucusu sürümleri düzenli olarak gelir ve bazen sorunlara yol açar.
  • İzleme. Gece GPU belleğinin dolduğunu fark edecek birinin olması gerekir.
  • Boşta kalma süresi. Kullanılmayan bir makine hala elektrik veya kira maliyeti doğurur.

Zamanınıza saatlik bir değer atayın ve bakım için ayda yaklaşık dört ila sekiz saat ekleyin. Bu sayı, küçük dağıtımlar için elektrik faturasından daha fazla olabilir.

Aynı hacim için API'nin maliyeti

Bu API, ön ödemeli krediden beslenen 1M giriş tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50 ücretlendirir. Abonelik yoktur ve başarısız veya reddedilen istekler için ücret alınmaz. Aylık bazda örnek hesaplamalar:

Aylık token'lar (giriş / çıktı)Giriş maliyetiÇıktı maliyetiToplam
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1,000M / 200M$150,00$100,00$250,00

Girdi-çıktı oranı 5'e 1 olan bir karışım için 6M token 5 × $0,15 + 1 × $0,50 = $1,25 eder veya karma olarak milyon token başına yaklaşık $0,21. Karışımınız farklı olacaktır, bu nedenle kendi ortalama değerlerinizle yeniden hesaplayın. Top-up miktarları ve bonuslar için fiyatlandırma sayfasına bakın.

Başa baş noktanızı bulun

Kendi sunucunuzda barındırmak için her ay ödeyeceğiniz her şeyi toplayın: donanım maliyetini kullanacağınız aylara bölün veya kiralama ücretini; elektrik; ve bakım saatlerinizin değerini. Toplamı F olarak adlandırın. Ardından:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Aylık sabit her $100, bu karışımda API'de yaklaşık 480M token'a eşittir. Gerçek trafiğiniz başa baş noktasının çok altındaysa (ki bu çoğu yan proje, iç araçlar ve küçük ürünler için doğrudur), API daha ucuzdur. Eğer çok üstündeyse ve sabitse, makineyi satın almak kazanabilir. Bu karşılaştırmayı güncel sayılarla kontrol edin, çünkü her iki taraf da değişir.

Kendi başınıza barındırılan kapasitenin de bir tavan olduğunu unutmayın. Bir makine aynı anda yalnızca belirli sayıda isteği karşılayabilir. Burada tam bir anahtarla 8 eşzamanlı istek ve dakikada 300 istek izin verilir ve arkalarındaki kapasite sizin sorununuz değildir.

Barındırılan bir API ile vazgeçtikleriniz

Bir API ücretsiz bir yemek değildir ve bazı limitler açıkça belirtilmeye değer.

  • Tek bir model. Bu hizmet, bağımsız bir sağlayıcıdan tek bir açık ağırlıklı model çalıştırır, model ID uncensored. Bunu değiştiremez veya kendi ağırlıklarınızı yükleyemezsiniz.
  • Yalnızca metin: resim, ses, video veya embedding yok ve ince ayar yok.
  • 100.000 token'lık bağlam penceresi, istem ve tamamlama dahil.
  • İstemleriniz ağınızdan ayrılır. Eğitim için kullanılmazlar, ancak politika yerinde işlemeyi gerektiriyorsa, kendi sunucunda barındırma çözümdür.

Karşılığında standart OpenAI arayüzü arkasında akış, fonksiyon çağırma ve JSON modu elde edersiniz; bu nedenle mevcut kod, değiştirilmiş bir base URL ile çalışır. Framework'ler de yardımcı olur; LangChain ile açık kaynak modelleri kullanma notumuz, bir uç noktaya nasıl yönlendirileceğini gösterir.

Karar vermek için ucuz bir yol

Gerekip gerekmediğini anlamak için donanım satın almayın. Önce gerçek yükünüzü bir API üzerinden çalıştırın, aylık token sayısını ölçün ve ancak o zaman bir barındırma fiyat teklifi ile karşılaştırın. API anahtarı sayfasında $0,50 değerinde tek tıkla bir deneme mevcuttur ve istek, standart OpenAI isteğidir:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Yanıt bir kullanım nesnesi ve bir X-Balance-USD başlığı içerir; bu nedenle normal kullanımın bir haftası size gerçek bir aylık rakam verir. Bu rakam başa baş noktasına yakınsa, karar vermek için veriye sahip olursunuz. Kurulum ayrıntıları dokümantasyonda yer alır. İlgili model türü hakkında bilgi için sansürsüz bir AI modelinin ne olduğuna bakın.

Sorular ve cevaplar

Bir LLM'i kendi sunucunda barındırmak bir API'den daha ucuz mu?

Yalnızca yüksek, istikrarlı hacimde. Bir GPU boşta veya meşgulken aynı maliyete sahiptir, bir API ise token başı ücretlendirme yapar. Yukarıdaki formülü kullanarak başa baş noktanızı hesaplayın.

Ne kadar GPU belleğine ihtiyacım var?

Ağırlıklar, 16-bit'te parametre başına yaklaşık 2 bayt ve 4-bit'te 0,5 bayt yer kaplar; bu nedenle 70B bir model için yaklaşık 140 GB veya 35 GB gerekir, ayrıca bağlam önbelleği için bellek gerekir.

Bu API'de ince ayar yapabilir miyim?

Hayır. Sadece metin tabanlı çıkarım sunar, ince ayar veya gömme (embedding) desteği yoktur. Özel ağırlıklara ihtiyacınız varsa, kendi sunucunuzda barındırmak doğru bir yoldur.

API'nin maliyeti nedir?

Ön ödemeli, abonelik yok, başarısız istekler için ücret alınmaz: 1M giriş tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50.

İstemlerimi eğitim için kullanıyor musunuz?

Hayır. İstemler eğitim için kullanılmaz.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulumun tamamı bu kadardır.

API anahtarı al