ID ▾

Uncensored Model HubAPI LLM Hosting: Apa yang Anda Dapatkan dan Apa yang Anda Lewatkan

API LLM Hosting: Apa yang Anda Dapatkan dan Apa yang Anda Lewati

API LLM hosting berarti seseorang lain memiliki GPU, memuat model, dan menjaga server tetap berjalan, dan Anda mengirim permintaan HTTP. Anda membayar per token dan melewatkan infrastruktur. Halaman ini mencantumkan apa yang ditangani untuk Anda, apa yang masih menjadi tanggung jawab Anda, dan permintaan pertama dalam tiga bahasa.

Diperbarui

Menara server kaca terhubung dengan satu kabel bercahaya ke laptop, mewakili API LLM yang dihosting
Rantai kaca menghubungkan blok modular ke kubus server, menggambarkan LangChain dengan API model bobot terbuka

Poin utama

  1. Hosting mencakup GPU, pemuatan model, batching, scaling, dan endpoint HTTP; Anda menyediakan prompt dan kunci.
  2. Antarmukanya kompatibel dengan OpenAI: ubah base URL menjadi https://api.uncensoredmodelhub.com/v1 dan gunakan model uncensored.
  3. Streaming, pemanggilan fungsi, dan mode JSON didukung; tidak ada endpoint gambar, audio, embedding, atau fine-tuning.
  4. Batas yang perlu Anda pertimbangkan: 100.000 token konteks, 8 permintaan paralel, dan 300 per menit pada kunci penuh.

Apa yang ditangani oleh hosting untuk Anda

Menjalankan model bahasa dalam produksi melibatkan lebih dari sekadar mengunduh bobot. API yang dihosting mengambil alih hal-hal berikut sehingga kode Anda tidak perlu melakukannya:

Ditangani oleh hostMasih menjadi tanggung Anda
GPU, driver, dan server inferensiMenulis dan menguji prompt Anda
Memuat model dan menjaga agar tetap siapMemilih temperature, max_tokens, dan pengaturan lainnya
Melakukan batching banyak permintaan bersama-samaLogika retry untuk respons 429
Autentikasi dan pembatasan lajuMenjaga kunci API Anda tetap rahasia
Pengukuran dan saldo prabayarMemantau pengeluaran Anda
Pembaruan perangkat lunak di sisi penyajianMenangani output model di aplikasi Anda

Layanan di sini adalah API chat yang kompatibel dengan OpenAI yang melayani satu model bobot terbuka, dijalankan oleh penyedia independen. Ini bukan API resmi dari vendor model mana pun dan bukan router di antara beberapa model. Hanya teks: tidak ada generasi gambar, audio, atau video, tidak ada embedding, dan tidak ada fine-tuning.

Permintaan pertama Anda

Buat akun dengan Google atau dengan email dan kata sandi, lalu salin kunci dari halaman kunci API. Mengklaim uji coba satu klik di sana menambahkan $0,50 kredit, berlaku selama 7 hari, tanpa kartu.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Endpoint yang sama juga mencakup POST /v1/responses dan GET /v1/models. dokumentasi mencantumkan parameter.

Streaming, alat, dan mode JSON

Sebagian besar yang digunakan pengembang dari API chat tersedia.

  • Streaming. Atur stream: true untuk menerima server-sent events saat token dihasilkan; penggunaan dilaporkan di akhir. UI chat bergantung pada ini.
  • Pemanggilan alat. Teruskan tools dan tool_choice, baca tool_calls dari balasan (mereka juga dialirkan), dan kembalikan hasil sebagai pesan dengan role: "tool".
  • Mode JSON. response_format: {"type":"json_object"} membuat model mengembalikan objek JSON, berguna untuk ekstraksi dan klasifikasi.
  • Kontrol sampling. temperature, top_p, stop, seed, dan penalti dilewatkan melalui.

Panggilan streaming di Python terlihat seperti ini:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Pustaka yang sudah berbicara format OpenAI, seperti LangChain, bekerja dengan mengubah base URL; halaman kami tentang LangChain dengan model open-source menunjukkan contoh.

Batas dan cara menanganinya

Hosting bersifat shared, jadi ada batas. Ketahui batas tersebut sebelum Anda membuat loop di sekitar API.

  • Jendela konteks: 100.000 token, prompt plus completion. Completion dapat menggunakan apa pun yang tidak digunakan oleh prompt, dan max_tokens bersifat opsional.
  • Konkurensi dan laju: kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit; kunci uji coba mengizinkan 2 dan 60. Permintaan streaming memegang slotnya hingga stream berakhir.
  • Ukuran body: 8 MB per permintaan.
  • Respons 429: kode error adalah rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus, dan header Retry-After: 5 muncul saat overload sementara.

Retry sederhana yang menunggu dan mencoba lagi sudah cukup di sebagian besar aplikasi. Jika permintaan gagal karena prompt terlalu panjang, halaman tentang error jendela konteks melebihi mencakup perbaikan seperti meringkas atau memotong riwayat.

Header respons membantu pemantauan: X-Request-Id untuk dikutip dalam tiket dukungan, X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency untuk batas Anda, dan X-Balance-USD untuk sisa saldo.

Memindahkan aplikasi yang ada

Jika kode Anda sudah menggunakan klien OpenAI, Anda jarang perlu menulis ulang. SDK resmi membaca dua variabel lingkungan, sehingga pengalihan dapat terjadi di luar kode:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Kemudian atur nama model menjadi uncensored di mana pun kode Anda menyebut model. Tiga hal yang perlu diperiksa sebelum Anda go-live:

  • Fitur yang Anda andalkan. Chat, streaming, pemanggilan alat, dan mode JSON berfungsi. Panggilan ke endpoint embedding, gambar, atau audio tidak akan berfungsi, karena ini adalah layanan teks saja.
  • Panjang prompt. Apa pun di atas 100.000 token secara total harus dipotong atau diringkas terlebih dahulu.
  • Konkurensi. Jika aplikasi Anda dapat menembakkan lebih dari 8 permintaan sekaligus, letakkan antrian atau semaphore di depan klien agar Anda tidak memicu error 429 pada puncak.

Simpan kunci di server. Jangan pernah mengirimkannya dalam kode browser atau aplikasi seluler, karena siapa pun yang mengekstraknya dapat menghabiskan saldo Anda. Simpan dalam variabel lingkungan atau manajer rahasia, dan putar jika bocor.

Biaya dan penagihan

Penagihan per token: $0,15 per 1M input dan $0,50 per 1M output. Kredit adalah saldo prabayar dan tidak pernah kadaluarsa, dan tidak ada langganan. Permintaan yang gagal atau ditolak tidak dikenakan biaya.

Contoh cepat. Permintaan dengan 2.000 token masuk dan 500 token keluar berbiaya 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Itu adalah 1.818 permintaan seperti itu per dolar. Top-up adalah jumlah bulat apa pun dari $20 hingga $500, dengan kripto (USDT di TRC20, USDC di Base), dengan bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Lihat halaman harga.

Untuk memeriksa saldo Anda dalam kode, panggil GET /v1/balance atau varian gaya OpenAI GET /v1/dashboard/billing/credit_grants, atau baca X-Balance-USD dari respons apa pun.

Dihosting atau dijalankan sendiri: pemeriksaan cepat

API yang dihosting cocok ketika Anda ingin meluncurkan dengan cepat, memiliki lalu lintas yang tidak merata, atau tidak ingin mengoperasikan GPU. Anda mengorbankan pilihan model dan kemampuan untuk melakukan fine-tune. Prompt dikirim ke penyedia, meskipun tidak digunakan untuk pelatihan.

Jika Anda membandingkannya dengan menjalankan perangkat keras Anda sendiri, bandingkan angka per-token di atas dengan penawaran perangkat keras Anda sendiri. Untuk latar belakang tentang jenis model, baca apa itu model AI tanpa sensor. Dari segi konten, model ini disesuaikan untuk menjawab tanpa penolakan untuk penggunaan dewasa yang sah, dengan satu batas keras: dilarang keras ada konten seksual yang melibatkan anak di bawah umur.

Tanya jawab

Apa itu API hosting LLM?

Layanan yang menjalankan model bahasa pada GPU sendiri dan mengeksposnya melalui HTTP. Anda mengirim prompt dan membayar per token tanpa mengelola server.

Apakah kompatibel dengan SDK OpenAI?

Ya. Atur base URL ke https://api.uncensoredmodelhub.com/v1, gunakan kunci Anda dan ID model uncensored.

Apa saja batas lajunya?

Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 dan 60. Melebihi batas akan mengembalikan HTTP 429.

Bisakah saya melakukan fine-tuning atau menghasilkan gambar?

Tidak. Ini adalah API teks saja tanpa fine-tuning, embeddings, atau generasi gambar, audio, atau video.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API