Barındırma hizmetinin sizin için neler yaptığı
Bir dil modelini üretim ortamında çalıştırmak ağırlıkları indirmekten daha fazlasını içerir. Barındırılan bir API, kodunuzun yapması gerekmediği aşağıdaki görevleri üstlenir:
| Barındırıcı tarafından yönetilen | Hâlâ size ait olanlar |
|---|---|
| GPU'lar, sürücüler ve çıkarım sunucusu | İstemlerinizi yazmak ve test etmek |
| Modeli yüklemek ve hazır tutmak | Sıcaklık, max_tokens ve diğer ayarları seçmek |
| Birden fazla isteği toplulaştırmak | 429 yanıtları için yeniden deneme mantığı |
| Kimlik doğrulama ve hız limiti | API anahtarınızı gizli tutmak |
| Ölçümleme ve ön ödemeli bakiye | Harcamalarınızı izlemek |
| Sunum tarafındaki yazılım güncellemeleri | Model çıktısını uygulamanızda işlemek |
Buradaki hizmet, bağımsız bir sağlayıcı tarafından yürütülen tek bir açık ağırlıklı modeli sunan OpenAI uyumlu bir sohbet API'sidir. Herhangi bir model satıcısının resmi API'si değildir ve birden fazla model arasında bir yönlendirici de değildir. Yalnızca metin: görsel, ses veya video üretimi yok, gömme (embedding) ve ince ayar yok.
İlk isteğiniz
Google veya e-posta ve şifre ile bir hesap oluşturun, ardından API anahtarı sayfası'dan bir anahtar kopyalayın. Tek tıkla denemeyi almak, kart olmadan 7 gün boyunca geçerli olan 0,50 $ kredi ekler.
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
Aynı uç noktalar ayrıca POST /v1/responses ve GET /v1/models uç noktalarını da içerir. dokümantasyon parametreleri listeler.
Akış, araçlar ve JSON modu
Geliştiricilerin bir sohbet API'sinden kullandığı şeylerin çoğu mevcuttur.
- Akış. Tokenlar oluşturulurken sunucu tarafından gönderilen olayları almak için
stream: trueayarlayın; kullanım bilgisi sonda raporlanır. Sohbet arayüzleri buna bağlıdır. - Fonksiyon çağırma.
toolsvetool_choicegönderin, yanıttatool_callsokuyun (onlar da akış yapar) ve sonuçlarırole: "tool"ile mesaj olarak döndürün. - JSON modu.
response_format: {"type":"json_object"}modelin bir JSON nesnesi döndürmesini sağlar; çıkarma ve sınıflandırma için kullanışlıdır. - Örneklemleme kontrolleri. temperature, top_p, stop, seed ve cezalar geçirilir.
Python'da bir akış çağrısı şöyle görünür:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
LangChain gibi OpenAI formatını zaten destekleyen kütüphaneler, base URL'yi değiştirerek çalışır; açık kaynak modellerle LangChain sayfamız bir örnek gösterir.
Limitler ve bunlarla başa çıkma
Barındırma paylaşımlıdır, bu nedenle limitler vardır. API etrafında bir döngü oluşturmadan önce bunları bilin.
- Bağlam: 100.000 token, istem ve tamamlama toplamı. Tamamlama, istemin bıraktığı boşluğu kullanabilir ve
max_tokensisteğe bağlıdır. - Eşzamanlılık ve hız: tam bir anahtar 8 eşzamanlı istek ve dakikada 300'e izin verir; bir deneme anahtarı 2 ve 60'a izin verir. Akışlı bir istek, akış bitene kadar slotunu tutar.
- Gövde boyutu: istek başına 8 MB.
- 429 yanıtları: dakikada istekler için hata kodu
rate_limited, aynı anda çok fazla istek içinconcurrencyve geçici aşırı yüklenme durumundaRetry-After: 5başlığı görünür.
Bekleyip tekrar deneyecek basit bir yeniden deneme çoğu uygulama için yeterlidir. Bir istek, istem çok uzun olduğu için başarısız olursa, bağlam penceresi aşıldı hataları sayfası özetleme veya geçmişi kısaltma gibi çözümleri kapsar.
Yanıt başlıkları izleme için yardımcı olur: bir destek biletinde alıntılamak için X-Request-Id, limitleriniz için X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency ve kalan miktar için X-Balance-USD.
Mevcut uygulamayı geçirmek
Kodunuz zaten bir OpenAI istemcisi kullanıyorsa, onu yeniden yazmanıza nadiren gerek vardır. Resmi SDK'lar iki ortam değişkenini okur, bu nedenle bir geçiş kodun dışında gerçekleşebilir:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
Ardından, kodunuzda bir model adlandırdığı her yerde model adını uncensored olarak ayarlayın. Canlıya geçmeden önce kontrol etmeniz gereken üç şey vardır:
- Güvendiğiniz özellikler. Sohbet, akış, araçlar ve JSON modu çalışır. Gömme, görsel veya ses uç noktalarına yapılan çağrılar çalışmaz, çünkü bu metin tabanlı bir hizmettir.
- İstem uzunluğu. Toplam 100.000 tokenin üzerindeki her şey önce kesilmeli veya özetlenmelidir.
- Eşzamanlılık. Uygulamanız aynı anda 8'den fazla istek atabiliyorsa, istemci önüne bir kuyruk veya semafor yerleştirin, böylece zirvelerde 429 hatalarını tetiklemeyin.
Anahtarı sunucuda tutun. Tarayıcı kodunda veya mobil uygulamada asla göndermeyin, çünkü onu çıkaran herkes bakiyenizi harcayabilir. Bir ortam değişkeninde veya gizli anahtar yöneticisinde saklayın ve sızdırılırsa yenileyin.
Maliyet ve faturalandırma
Faturalandırma token başınadır: 1M girdi başına $0,15 ve 1M çıktı başına $0,50. Kredi ön ödemelidir ve süresi dolmaz, abonelik yoktur. Başarısız veya reddedilen istekler için ücret alınmaz.
Hızlı bir örnek. 2.000 token girdisi ve 500 token çıktısı olan bir istek 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055 tutarındadır. Bu, dolar başına 1.818 böyle istek demektir. Bakiye yüklemeler $20 ile $500 arasında tam sayı tutarlardır; kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yapılır. $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 bonus uygulanır. fiyatlandırma sayfasına bakın.
Bakiyenizi kodda kontrol etmek için GET /v1/balance'ı çağırın veya OpenAI tarzı GET /v1/dashboard/billing/credit_grants'ı kullanın veya herhangi bir yanıttan X-Balance-USD'ı okuyun.
Barındırılan veya kendi kendine çalıştırılan: hızlı bir kontrol
Barındırılan bir API, hızlıca ürün çıkarmak istediğinizde, değişken trafik olduğunda veya GPU'ları işletmek istemediğinizde uygundur. Model seçimi ve ince ayar yapma yeteneğinden vazgeçersiniz. İstemler sağlayıcıya gönderilir, ancak eğitim için kullanılmazlar.
Kendi donanımınızı çalıştırmakla karşılaştırıyorsanız, yukarıdaki token başına maliyetleri kendi donanım teklifinizle karşılaştırın. Model türü hakkında bilgi için sansürsüz bir AI modelinin ne olduğunu okuyun. İçerik açısından model, yasal yetişkin kullanımı için reddetmeler olmadan cevap verecek şekilde ayarlanmıştır, tek bir sert limit vardır: reşit olmayanları içeren cinsel içeriğe izin verilmez.

