Jawaban singkat
Untuk sebagian besar individu dan tim kecil, API lebih murah hingga lalu lintas tinggi dan konstan. Untuk keputusan hosting LLM mandiri vs API, variabel penentunya adalah utilisasi: GPU yang Anda bayar sepanjang waktu harganya sama apakah melayani satu juta token atau sepuluh. API berbasis token hanya membebankan biaya untuk token yang digunakan.
Self-hosting masuk akal ketika Anda perlu melakukan fine-tuning, ketika data tidak boleh keluar dari jaringan Anda, ketika Anda harus menjalankan model tertentu, atau ketika Anda memiliki volume berat yang stabil dan seseorang untuk mengoperasikan mesinnya. API masuk akal ketika Anda ingin siap digunakan dalam waktu singkat, ketika penggunaan tidak merata, atau ketika satu orang melakukan semuanya.
Sisa artikel ini memberikan angka yang dapat Anda reproduksi. Artikel ini tidak menyertakan harga perangkat keras atau cloud, karena harganya berubah; Anda akan menambahkan harga Anda sendiri ke dalam rumus.
Perangkat keras apa yang sebenarnya dibutuhkan model
Batasan utamanya adalah memori GPU. Bobot saja membutuhkan kira-kira parameters × bytes per parameter:
| Ukuran model | 16-bit (2 byte) | 8-bit (1 byte) | 4-bit (0,5 byte) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Itu adalah dasar. Anda juga membutuhkan memori untuk cache perhatian, yang tumbuh seiring panjang konteks dan jumlah permintaan simultan, ditambah overhead runtime. Melayani konteks 100.000 token ke beberapa pengguna sekaligus dapat memakan jauh lebih banyak memori daripada bobot, dan angkanya bergantung pada arsitektur model. Model kuantisasi yang lebih kecil berjalan pada satu GPU konsumen; yang besar membutuhkan beberapa GPU atau node yang disewa, ditambah server inferensi seperti vLLM atau llama.cpp untuk melakukan batching permintaan.
Kuantisasi ke 4-bit menghemat memori dengan sedikit mengorbankan kualitas, dan kerugiannya bervariasi tergantung model dan tugas. Anda harus mengujinya pada prompt Anda sendiri.
Pekerjaan yang tidak ada dalam penawaran perangkat keras
Perangkat keras adalah biaya yang terlihat. Bagian yang kurang terlihat adalah operasi:
- Penyiapan. Driver, versi CUDA, server inferensi, lapisan kompatibel OpenAI, autentikasi, dan proxy terbalik. Penyiapan pertama yang berfungsi sering kali membutuhkan waktu sehari atau lebih; yang produksi membutuhkan waktu lebih lama.
- Penyetelan. Ukuran batch, batas konteks, pengaturan memori, dan default sampling menentukan apakah Anda melayani 2 pengguna atau 20.
- Pembaruan. Versi model baru, patch keamanan, dan rilis server inferensi tiba secara teratur dan kadang-kadang merusak sesuatu.
- Pemantauan. Seseorang harus memperhatikan ketika GPU kehabisan memori di malam hari.
- Waktu idle. Mesin yang tidak digunakan tetap membutuhkan daya atau biaya sewa.
Berikan nilai per jam pada waktu Anda dan tambahkan kira-kira empat hingga delapan jam per bulan untuk perawatan. Angka ini sering kali melebihi tagihan listrik untuk deployment kecil.
Biaya API untuk volume yang sama
API ini mengenakan biaya $0,15 per 1M token input dan $0,50 per 1M token output, dari saldo prabayar yang tidak pernah habis. Tidak ada langganan, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Contoh perhitungan, per bulan:
| Token bulanan (masuk / keluar) | Biaya input | Biaya output | Total |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1,000M / 200M | $150,00 | $100,00 | $250,00 |
Untuk campuran input-ke-output 5-ke-1, 6M token biaya 5 × $0,15 + 1 × $0,50 = $1,25, atau sekitar $0,21 per juta token yang dicampur. Campuran Anda akan berbeda, jadi hitung ulang dengan rata-rata Anda sendiri. Lihat halaman harga untuk jumlah isi saldo dan bonus.
Temukan titik impas Anda
Jumlahkan semua yang akan Anda bayar setiap bulan untuk hosting mandiri: biaya perangkat keras dibagi dengan bulan yang akan Anda gunakan, atau biaya sewa; daya; dan nilai jam pemeliharaan Anda. Sebut total F. Maka:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Setiap $100 biaya tetap bulanan setara dengan sekitar 480M token di API dengan campuran tersebut. Jika lalu lintas nyata Anda jauh di bawah angka titik impas, yang benar untuk sebagian besar proyek sampingan, alat internal, dan produk kecil, API lebih murah. Jika jauh di atas dan konstan, memiliki mesinnya bisa menang. Periksa perbandingan tersebut menggunakan angka saat ini, karena kedua belah pihak berubah.
Ingat bahwa kapasitas self-hosted juga merupakan batas. Satu mesin hanya melayani sejumlah permintaan sekaligus. Dengan kunci penuh di sini, 8 permintaan paralel dan 300 per menit diizinkan, dan kapasitas di baliknya bukan masalah Anda.
Apa yang Anda serahkan dengan API yang di-host
API bukanlah makan siang gratis, dan beberapa batas layak dinyatakan dengan jelas.
- Satu model. Layanan ini menjalankan satu model bobot terbuka dari penyedia independen, model ID
uncensored. Anda tidak dapat menukarnya atau memuat bobot Anda sendiri. - Teks saja: tidak ada gambar, audio, video, atau penyematan, dan tidak ada penyesuaian halus.
- Jendela konteks 100.000 token, prompt plus completion.
- Prompt Anda keluar dari jaringan Anda. Prompt tersebut tidak digunakan untuk pelatihan, tetapi jika kebijakan memerlukan pemrosesan lokal, hosting mandiri adalah jawabannya.
Sebagai gantinya, Anda mendapatkan streaming, pemanggilan alat, dan mode JSON di balik antarmuka OpenAI standar, sehingga kode yang ada berfungsi dengan URL dasar yang diubah. Framework juga membantu; catatan kami tentang penggunaan model sumber terbuka dengan LangChain menunjukkan cara mengarahkannya ke endpoint seperti ini.
Cara murah untuk memutuskan
Jangan membeli perangkat keras untuk mencari tahu apakah Anda membutuhkannya. Jalankan beban kerja nyata Anda melalui API terlebih dahulu, ukur token per bulan, dan baru kemudian bandingkan dengan estimasi harga hosting. Uji coba satu klik senilai $0,50 tersedia di halaman kunci API, dan permintaannya adalah permintaan OpenAI biasa:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
Responsnya mencakup objek penggunaan dan header X-Balance-USD, sehingga seminggu penggunaan normal memberi Anda angka bulanan yang nyata. Jika angka itu berakhir di dekat titik impas, Anda memiliki data untuk memutuskan. Detail setup ada di dokumentasi. Untuk latar belakang tentang jenis model yang terlibat, lihat apa itu model AI tanpa sensor.

