Apa yang ditangani oleh hosting untuk Anda
Menjalankan model bahasa dalam produksi melibatkan lebih dari sekadar mengunduh bobot. API yang dihosting mengambil alih hal-hal berikut sehingga kode Anda tidak perlu melakukannya:
| Ditangani oleh host | Masih menjadi tanggung Anda |
|---|---|
| GPU, driver, dan server inferensi | Menulis dan menguji prompt Anda |
| Memuat model dan menjaga agar tetap siap | Memilih temperature, max_tokens, dan pengaturan lainnya |
| Melakukan batching banyak permintaan bersama-sama | Logika retry untuk respons 429 |
| Autentikasi dan pembatasan laju | Menjaga kunci API Anda tetap rahasia |
| Pengukuran dan saldo prabayar | Memantau pengeluaran Anda |
| Pembaruan perangkat lunak di sisi penyajian | Menangani output model di aplikasi Anda |
Layanan di sini adalah API chat yang kompatibel dengan OpenAI yang melayani satu model bobot terbuka, dijalankan oleh penyedia independen. Ini bukan API resmi dari vendor model mana pun dan bukan router di antara beberapa model. Hanya teks: tidak ada generasi gambar, audio, atau video, tidak ada embedding, dan tidak ada fine-tuning.
Permintaan pertama Anda
Buat akun dengan Google atau dengan email dan kata sandi, lalu salin kunci dari halaman kunci API. Mengklaim uji coba satu klik di sana menambahkan $0,50 kredit, berlaku selama 7 hari, tanpa kartu.
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
Endpoint yang sama juga mencakup POST /v1/responses dan GET /v1/models. dokumentasi mencantumkan parameter.
Streaming, alat, dan mode JSON
Sebagian besar yang digunakan pengembang dari API chat tersedia.
- Streaming. Atur
stream: trueuntuk menerima server-sent events saat token dihasilkan; penggunaan dilaporkan di akhir. UI chat bergantung pada ini. - Pemanggilan alat. Teruskan
toolsdantool_choice, bacatool_callsdari balasan (mereka juga dialirkan), dan kembalikan hasil sebagai pesan denganrole: "tool". - Mode JSON.
response_format: {"type":"json_object"}membuat model mengembalikan objek JSON, berguna untuk ekstraksi dan klasifikasi. - Kontrol sampling. temperature, top_p, stop, seed, dan penalti dilewatkan melalui.
Panggilan streaming di Python terlihat seperti ini:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Pustaka yang sudah berbicara format OpenAI, seperti LangChain, bekerja dengan mengubah base URL; halaman kami tentang LangChain dengan model open-source menunjukkan contoh.
Batas dan cara menanganinya
Hosting bersifat shared, jadi ada batas. Ketahui batas tersebut sebelum Anda membuat loop di sekitar API.
- Jendela konteks: 100.000 token, prompt plus completion. Completion dapat menggunakan apa pun yang tidak digunakan oleh prompt, dan
max_tokensbersifat opsional. - Konkurensi dan laju: kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit; kunci uji coba mengizinkan 2 dan 60. Permintaan streaming memegang slotnya hingga stream berakhir.
- Ukuran body: 8 MB per permintaan.
- Respons 429: kode error adalah
rate_limiteduntuk permintaan per menit,concurrencyuntuk terlalu banyak sekaligus, dan headerRetry-After: 5muncul saat overload sementara.
Retry sederhana yang menunggu dan mencoba lagi sudah cukup di sebagian besar aplikasi. Jika permintaan gagal karena prompt terlalu panjang, halaman tentang error jendela konteks melebihi mencakup perbaikan seperti meringkas atau memotong riwayat.
Header respons membantu pemantauan: X-Request-Id untuk dikutip dalam tiket dukungan, X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency untuk batas Anda, dan X-Balance-USD untuk sisa saldo.
Memindahkan aplikasi yang ada
Jika kode Anda sudah menggunakan klien OpenAI, Anda jarang perlu menulis ulang. SDK resmi membaca dua variabel lingkungan, sehingga pengalihan dapat terjadi di luar kode:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
Kemudian atur nama model menjadi uncensored di mana pun kode Anda menyebut model. Tiga hal yang perlu diperiksa sebelum Anda go-live:
- Fitur yang Anda andalkan. Chat, streaming, pemanggilan alat, dan mode JSON berfungsi. Panggilan ke endpoint embedding, gambar, atau audio tidak akan berfungsi, karena ini adalah layanan teks saja.
- Panjang prompt. Apa pun di atas 100.000 token secara total harus dipotong atau diringkas terlebih dahulu.
- Konkurensi. Jika aplikasi Anda dapat menembakkan lebih dari 8 permintaan sekaligus, letakkan antrian atau semaphore di depan klien agar Anda tidak memicu error 429 pada puncak.
Simpan kunci di server. Jangan pernah mengirimkannya dalam kode browser atau aplikasi seluler, karena siapa pun yang mengekstraknya dapat menghabiskan saldo Anda. Simpan dalam variabel lingkungan atau manajer rahasia, dan putar jika bocor.
Biaya dan penagihan
Penagihan per token: $0,15 per 1M input dan $0,50 per 1M output. Kredit adalah saldo prabayar dan tidak pernah kadaluarsa, dan tidak ada langganan. Permintaan yang gagal atau ditolak tidak dikenakan biaya.
Contoh cepat. Permintaan dengan 2.000 token masuk dan 500 token keluar berbiaya 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Itu adalah 1.818 permintaan seperti itu per dolar. Top-up adalah jumlah bulat apa pun dari $20 hingga $500, dengan kripto (USDT di TRC20, USDC di Base), dengan bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Lihat halaman harga.
Untuk memeriksa saldo Anda dalam kode, panggil GET /v1/balance atau varian gaya OpenAI GET /v1/dashboard/billing/credit_grants, atau baca X-Balance-USD dari respons apa pun.
Dihosting atau dijalankan sendiri: pemeriksaan cepat
API yang dihosting cocok ketika Anda ingin meluncurkan dengan cepat, memiliki lalu lintas yang tidak merata, atau tidak ingin mengoperasikan GPU. Anda mengorbankan pilihan model dan kemampuan untuk melakukan fine-tune. Prompt dikirim ke penyedia, meskipun tidak digunakan untuk pelatihan.
Jika Anda membandingkannya dengan menjalankan perangkat keras Anda sendiri, bandingkan angka per-token di atas dengan penawaran perangkat keras Anda sendiri. Untuk latar belakang tentang jenis model, baca apa itu model AI tanpa sensor. Dari segi konten, model ini disesuaikan untuk menjawab tanpa penolakan untuk penggunaan dewasa yang sah, dengan satu batas keras: dilarang keras ada konten seksual yang melibatkan anak di bawah umur.

