ID ▾

Uncensored Model HubHosting Mandiri LLM vs API: Biaya, Usaha, dan Titik Impas

Hosting LLM Mandiri vs API: Biaya, Usaha, dan Titik Impas

Pertanyaan hosting LLM mandiri vs API sebagian besar adalah aritmatika plus pandangan jujur terhadap waktu Anda sendiri. Menjalankan model sendiri memberikan kontrol dan tagihan tetap; API memberi Anda nol setup dan tagihan yang mengikuti penggunaan. Berikut cara menentukan mana yang menang untuk volume Anda.

Diperbarui

Timbangan keseimbangan menimbang rak server terhadap node cloud dan koin, membandingkan hosting mandiri dengan API
Rantai kaca menghubungkan blok modular ke kubus server, menggambarkan LangChain dengan API model bobot terbuka

Poin utama

  1. Model membutuhkan sekitar 0,5 byte per parameter pada 4-bit dan 2 byte pada 16-bit, sebelum cache dan overhead, sehingga model 70B membutuhkan sekitar 35 GB hingga 140 GB memori GPU.
  2. Pada harga $0,15 per 1M input dan $0,50 per 1M output, 100M input ditambah 20M token output per bulan biayanya $25.
  3. Hosting mandiri menang pada fine-tuning, penggunaan offline dan volume tinggi yang stabil; API menang pada lalu lintas rendah atau lonjakan.
  4. Hitung jam Anda sendiri: pembaruan, driver, dan pemantauan adalah bagian dari biaya.

Jawaban singkat

Untuk sebagian besar individu dan tim kecil, API lebih murah hingga lalu lintas tinggi dan konstan. Untuk keputusan hosting LLM mandiri vs API, variabel penentunya adalah utilisasi: GPU yang Anda bayar sepanjang waktu harganya sama apakah melayani satu juta token atau sepuluh. API berbasis token hanya membebankan biaya untuk token yang digunakan.

Self-hosting masuk akal ketika Anda perlu melakukan fine-tuning, ketika data tidak boleh keluar dari jaringan Anda, ketika Anda harus menjalankan model tertentu, atau ketika Anda memiliki volume berat yang stabil dan seseorang untuk mengoperasikan mesinnya. API masuk akal ketika Anda ingin siap digunakan dalam waktu singkat, ketika penggunaan tidak merata, atau ketika satu orang melakukan semuanya.

Sisa artikel ini memberikan angka yang dapat Anda reproduksi. Artikel ini tidak menyertakan harga perangkat keras atau cloud, karena harganya berubah; Anda akan menambahkan harga Anda sendiri ke dalam rumus.

Perangkat keras apa yang sebenarnya dibutuhkan model

Batasan utamanya adalah memori GPU. Bobot saja membutuhkan kira-kira parameters × bytes per parameter:

Ukuran model16-bit (2 byte)8-bit (1 byte)4-bit (0,5 byte)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Itu adalah dasar. Anda juga membutuhkan memori untuk cache perhatian, yang tumbuh seiring panjang konteks dan jumlah permintaan simultan, ditambah overhead runtime. Melayani konteks 100.000 token ke beberapa pengguna sekaligus dapat memakan jauh lebih banyak memori daripada bobot, dan angkanya bergantung pada arsitektur model. Model kuantisasi yang lebih kecil berjalan pada satu GPU konsumen; yang besar membutuhkan beberapa GPU atau node yang disewa, ditambah server inferensi seperti vLLM atau llama.cpp untuk melakukan batching permintaan.

Kuantisasi ke 4-bit menghemat memori dengan sedikit mengorbankan kualitas, dan kerugiannya bervariasi tergantung model dan tugas. Anda harus mengujinya pada prompt Anda sendiri.

Pekerjaan yang tidak ada dalam penawaran perangkat keras

Perangkat keras adalah biaya yang terlihat. Bagian yang kurang terlihat adalah operasi:

  • Penyiapan. Driver, versi CUDA, server inferensi, lapisan kompatibel OpenAI, autentikasi, dan proxy terbalik. Penyiapan pertama yang berfungsi sering kali membutuhkan waktu sehari atau lebih; yang produksi membutuhkan waktu lebih lama.
  • Penyetelan. Ukuran batch, batas konteks, pengaturan memori, dan default sampling menentukan apakah Anda melayani 2 pengguna atau 20.
  • Pembaruan. Versi model baru, patch keamanan, dan rilis server inferensi tiba secara teratur dan kadang-kadang merusak sesuatu.
  • Pemantauan. Seseorang harus memperhatikan ketika GPU kehabisan memori di malam hari.
  • Waktu idle. Mesin yang tidak digunakan tetap membutuhkan daya atau biaya sewa.

Berikan nilai per jam pada waktu Anda dan tambahkan kira-kira empat hingga delapan jam per bulan untuk perawatan. Angka ini sering kali melebihi tagihan listrik untuk deployment kecil.

Biaya API untuk volume yang sama

API ini mengenakan biaya $0,15 per 1M token input dan $0,50 per 1M token output, dari saldo prabayar yang tidak pernah habis. Tidak ada langganan, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Contoh perhitungan, per bulan:

Token bulanan (masuk / keluar)Biaya inputBiaya outputTotal
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1,000M / 200M$150,00$100,00$250,00

Untuk campuran input-ke-output 5-ke-1, 6M token biaya 5 × $0,15 + 1 × $0,50 = $1,25, atau sekitar $0,21 per juta token yang dicampur. Campuran Anda akan berbeda, jadi hitung ulang dengan rata-rata Anda sendiri. Lihat halaman harga untuk jumlah isi saldo dan bonus.

Temukan titik impas Anda

Jumlahkan semua yang akan Anda bayar setiap bulan untuk hosting mandiri: biaya perangkat keras dibagi dengan bulan yang akan Anda gunakan, atau biaya sewa; daya; dan nilai jam pemeliharaan Anda. Sebut total F. Maka:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Setiap $100 biaya tetap bulanan setara dengan sekitar 480M token di API dengan campuran tersebut. Jika lalu lintas nyata Anda jauh di bawah angka titik impas, yang benar untuk sebagian besar proyek sampingan, alat internal, dan produk kecil, API lebih murah. Jika jauh di atas dan konstan, memiliki mesinnya bisa menang. Periksa perbandingan tersebut menggunakan angka saat ini, karena kedua belah pihak berubah.

Ingat bahwa kapasitas self-hosted juga merupakan batas. Satu mesin hanya melayani sejumlah permintaan sekaligus. Dengan kunci penuh di sini, 8 permintaan paralel dan 300 per menit diizinkan, dan kapasitas di baliknya bukan masalah Anda.

Apa yang Anda serahkan dengan API yang di-host

API bukanlah makan siang gratis, dan beberapa batas layak dinyatakan dengan jelas.

  • Satu model. Layanan ini menjalankan satu model bobot terbuka dari penyedia independen, model ID uncensored. Anda tidak dapat menukarnya atau memuat bobot Anda sendiri.
  • Teks saja: tidak ada gambar, audio, video, atau penyematan, dan tidak ada penyesuaian halus.
  • Jendela konteks 100.000 token, prompt plus completion.
  • Prompt Anda keluar dari jaringan Anda. Prompt tersebut tidak digunakan untuk pelatihan, tetapi jika kebijakan memerlukan pemrosesan lokal, hosting mandiri adalah jawabannya.

Sebagai gantinya, Anda mendapatkan streaming, pemanggilan alat, dan mode JSON di balik antarmuka OpenAI standar, sehingga kode yang ada berfungsi dengan URL dasar yang diubah. Framework juga membantu; catatan kami tentang penggunaan model sumber terbuka dengan LangChain menunjukkan cara mengarahkannya ke endpoint seperti ini.

Cara murah untuk memutuskan

Jangan membeli perangkat keras untuk mencari tahu apakah Anda membutuhkannya. Jalankan beban kerja nyata Anda melalui API terlebih dahulu, ukur token per bulan, dan baru kemudian bandingkan dengan estimasi harga hosting. Uji coba satu klik senilai $0,50 tersedia di halaman kunci API, dan permintaannya adalah permintaan OpenAI biasa:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Responsnya mencakup objek penggunaan dan header X-Balance-USD, sehingga seminggu penggunaan normal memberi Anda angka bulanan yang nyata. Jika angka itu berakhir di dekat titik impas, Anda memiliki data untuk memutuskan. Detail setup ada di dokumentasi. Untuk latar belakang tentang jenis model yang terlibat, lihat apa itu model AI tanpa sensor.

Tanya jawab

Apakah hosting LLM mandiri lebih murah daripada API?

Hanya pada volume tinggi yang stabil. GPU memiliki biaya yang sama saat idle atau sibuk, sedangkan API membebankan biaya per token. Hitung titik impas Anda dengan rumus di atas.

Berapa banyak memori GPU yang saya butuhkan?

Bobot memerlukan sekitar 2 byte per parameter pada 16-bit dan 0,5 byte pada 4-bit, sehingga model 70B membutuhkan sekitar 140 GB atau 35 GB, ditambah memori untuk cache konteks.

Apakah saya dapat melakukan fine-tuning pada API ini?

Tidak. Ini adalah inferensi teks saja tanpa fine-tuning atau embedding. Jika Anda membutuhkan bobot kustom, self-hosting adalah jalur yang tepat.

Berapa biaya API?

$0,15 per 1M token input dan $0,50 per 1M token output, prabayar, tanpa langganan, dan permintaan yang gagal tidak dikenakan biaya.

Apakah Anda melatih model dengan prompt saya?

Tidak. Prompt tidak digunakan untuk pelatihan.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API