TR ▾

Uncensored Model HubLLM Barındırma API'si: Ne Alırsınız ve Ne Bırakırsınız

LLM Barındırma API'si: Ne Alırsınız ve Ne Bırakırsınız

Bir LLM barındırma API'si, GPU'lara başkalarının sahip olduğu, modelin başkaları tarafından yüklendiği ve sunucunun başkaları tarafından çalıştırıldığı anlamına gelir; siz HTTP istekleri gönderirsiniz. Token başına ödeme yaparsınız ve altyapıyı atlamış olursunuz. Bu sayfa sizin için nelerin yönetildiğini, nelerin hala size ait olduğunu ve üç dilde ilk isteği listeler.

güncellendi

Barındırılan bir LLM API'sini temsil eden, tek bir parlayan kablo ile dizüstü bilgisayara bağlı cam sunucu kasası
Modüler blokları bir sunucu küpüne bağlayan cam zincir bağlantıları, açık ağırlıklı bir model API'si ile LangChain'i gösterir

Temel noktalar

  1. Barındırma GPU'ları, model yükleme, toplulaştırma, ölçekleme ve HTTP uç noktasını kapsar; siz istemleri ve bir anahtar sağlarsınız.
  2. Arayüz OpenAI ile uyumludur: base URL'yi https://api.uncensoredmodelhub.com/v1 olarak değiştirin ve uncensored modelini kullanın.
  3. Akış, fonksiyon çağırma ve JSON modu desteklenir; görsel, ses, gömme veya ince ayar uç noktası yoktur.
  4. Planlamanız gereken limitler: 100.000 token bağlam penceresi, tam anahtarda 8 eşzamanlı istek ve dakikada 300 istek.

Barındırma hizmetinin sizin için neler yaptığı

Bir dil modelini üretim ortamında çalıştırmak ağırlıkları indirmekten daha fazlasını içerir. Barındırılan bir API, kodunuzun yapması gerekmediği aşağıdaki görevleri üstlenir:

Barındırıcı tarafından yönetilenHâlâ size ait olanlar
GPU'lar, sürücüler ve çıkarım sunucusuİstemlerinizi yazmak ve test etmek
Modeli yüklemek ve hazır tutmakSıcaklık, max_tokens ve diğer ayarları seçmek
Birden fazla isteği toplulaştırmak429 yanıtları için yeniden deneme mantığı
Kimlik doğrulama ve hız limitiAPI anahtarınızı gizli tutmak
Ölçümleme ve ön ödemeli bakiyeHarcamalarınızı izlemek
Sunum tarafındaki yazılım güncellemeleriModel çıktısını uygulamanızda işlemek

Buradaki hizmet, bağımsız bir sağlayıcı tarafından yürütülen tek bir açık ağırlıklı modeli sunan OpenAI uyumlu bir sohbet API'sidir. Herhangi bir model satıcısının resmi API'si değildir ve birden fazla model arasında bir yönlendirici de değildir. Yalnızca metin: görsel, ses veya video üretimi yok, gömme (embedding) ve ince ayar yok.

İlk isteğiniz

Google veya e-posta ve şifre ile bir hesap oluşturun, ardından API anahtarı sayfası'dan bir anahtar kopyalayın. Tek tıkla denemeyi almak, kart olmadan 7 gün boyunca geçerli olan 0,50 $ kredi ekler.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Aynı uç noktalar ayrıca POST /v1/responses ve GET /v1/models uç noktalarını da içerir. dokümantasyon parametreleri listeler.

Akış, araçlar ve JSON modu

Geliştiricilerin bir sohbet API'sinden kullandığı şeylerin çoğu mevcuttur.

  • Akış. Tokenlar oluşturulurken sunucu tarafından gönderilen olayları almak için stream: true ayarlayın; kullanım bilgisi sonda raporlanır. Sohbet arayüzleri buna bağlıdır.
  • Fonksiyon çağırma. tools ve tool_choice gönderin, yanıtta tool_calls okuyun (onlar da akış yapar) ve sonuçları role: "tool" ile mesaj olarak döndürün.
  • JSON modu. response_format: {"type":"json_object"} modelin bir JSON nesnesi döndürmesini sağlar; çıkarma ve sınıflandırma için kullanışlıdır.
  • Örneklemleme kontrolleri. temperature, top_p, stop, seed ve cezalar geçirilir.

Python'da bir akış çağrısı şöyle görünür:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

LangChain gibi OpenAI formatını zaten destekleyen kütüphaneler, base URL'yi değiştirerek çalışır; açık kaynak modellerle LangChain sayfamız bir örnek gösterir.

Limitler ve bunlarla başa çıkma

Barındırma paylaşımlıdır, bu nedenle limitler vardır. API etrafında bir döngü oluşturmadan önce bunları bilin.

  • Bağlam: 100.000 token, istem ve tamamlama toplamı. Tamamlama, istemin bıraktığı boşluğu kullanabilir ve max_tokens isteğe bağlıdır.
  • Eşzamanlılık ve hız: tam bir anahtar 8 eşzamanlı istek ve dakikada 300'e izin verir; bir deneme anahtarı 2 ve 60'a izin verir. Akışlı bir istek, akış bitene kadar slotunu tutar.
  • Gövde boyutu: istek başına 8 MB.
  • 429 yanıtları: dakikada istekler için hata kodu rate_limited, aynı anda çok fazla istek için concurrency ve geçici aşırı yüklenme durumunda Retry-After: 5 başlığı görünür.

Bekleyip tekrar deneyecek basit bir yeniden deneme çoğu uygulama için yeterlidir. Bir istek, istem çok uzun olduğu için başarısız olursa, bağlam penceresi aşıldı hataları sayfası özetleme veya geçmişi kısaltma gibi çözümleri kapsar.

Yanıt başlıkları izleme için yardımcı olur: bir destek biletinde alıntılamak için X-Request-Id, limitleriniz için X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency ve kalan miktar için X-Balance-USD.

Mevcut uygulamayı geçirmek

Kodunuz zaten bir OpenAI istemcisi kullanıyorsa, onu yeniden yazmanıza nadiren gerek vardır. Resmi SDK'lar iki ortam değişkenini okur, bu nedenle bir geçiş kodun dışında gerçekleşebilir:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Ardından, kodunuzda bir model adlandırdığı her yerde model adını uncensored olarak ayarlayın. Canlıya geçmeden önce kontrol etmeniz gereken üç şey vardır:

  • Güvendiğiniz özellikler. Sohbet, akış, araçlar ve JSON modu çalışır. Gömme, görsel veya ses uç noktalarına yapılan çağrılar çalışmaz, çünkü bu metin tabanlı bir hizmettir.
  • İstem uzunluğu. Toplam 100.000 tokenin üzerindeki her şey önce kesilmeli veya özetlenmelidir.
  • Eşzamanlılık. Uygulamanız aynı anda 8'den fazla istek atabiliyorsa, istemci önüne bir kuyruk veya semafor yerleştirin, böylece zirvelerde 429 hatalarını tetiklemeyin.

Anahtarı sunucuda tutun. Tarayıcı kodunda veya mobil uygulamada asla göndermeyin, çünkü onu çıkaran herkes bakiyenizi harcayabilir. Bir ortam değişkeninde veya gizli anahtar yöneticisinde saklayın ve sızdırılırsa yenileyin.

Maliyet ve faturalandırma

Faturalandırma token başınadır: 1M girdi başına $0,15 ve 1M çıktı başına $0,50. Kredi ön ödemelidir ve süresi dolmaz, abonelik yoktur. Başarısız veya reddedilen istekler için ücret alınmaz.

Hızlı bir örnek. 2.000 token girdisi ve 500 token çıktısı olan bir istek 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055 tutarındadır. Bu, dolar başına 1.818 böyle istek demektir. Bakiye yüklemeler $20 ile $500 arasında tam sayı tutarlardır; kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yapılır. $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 bonus uygulanır. fiyatlandırma sayfasına bakın.

Bakiyenizi kodda kontrol etmek için GET /v1/balance'ı çağırın veya OpenAI tarzı GET /v1/dashboard/billing/credit_grants'ı kullanın veya herhangi bir yanıttan X-Balance-USD'ı okuyun.

Barındırılan veya kendi kendine çalıştırılan: hızlı bir kontrol

Barındırılan bir API, hızlıca ürün çıkarmak istediğinizde, değişken trafik olduğunda veya GPU'ları işletmek istemediğinizde uygundur. Model seçimi ve ince ayar yapma yeteneğinden vazgeçersiniz. İstemler sağlayıcıya gönderilir, ancak eğitim için kullanılmazlar.

Kendi donanımınızı çalıştırmakla karşılaştırıyorsanız, yukarıdaki token başına maliyetleri kendi donanım teklifinizle karşılaştırın. Model türü hakkında bilgi için sansürsüz bir AI modelinin ne olduğunu okuyun. İçerik açısından model, yasal yetişkin kullanımı için reddetmeler olmadan cevap verecek şekilde ayarlanmıştır, tek bir sert limit vardır: reşit olmayanları içeren cinsel içeriğe izin verilmez.

Sorular ve cevaplar

LLM barındırma API'si nedir?

Kendi GPU'larında bir dil modeli çalıştıran ve bunu HTTP üzerinden sunan bir hizmettir. Sunucuları yönetmeden istemlerinizi gönderirsiniz ve token başına ödeme yaparsınız.

OpenAI SDK'si ile uyumlu mu?

Evet. Base URL'yi https://api.uncensoredmodelhub.com/v1 olarak ayarlayın, anahtarınızı ve uncensored model ID'sini kullanın.

Hız limitleri nelerdir?

Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı ise 2 ve 60'a izin verir. Bir limiti aştığınızda HTTP 429 alırsınız.

İnce ayar yapabilir veya görsel üretebilir miyim?

Hayır. Bu, ince ayar, gömme (embedding) veya görsel, ses veya video üretimi içermeyen yalnızca metin tabanlı bir API'dir.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al