संक्षिप्त उत्तर
अधिकांश व्यक्तिगत उपयोगकर्ताओं और छोटी टीमों के लिए, जब तक ट्राफिक उच्च और स्थिर न हो, API सस्ता होता है। LLM स्व-होस्टिंग बनाम API निर्णयों के लिए, निर्णायक चर उपयोगिता है: एक GPU जिसे आप दिन-रात भुगतान करते हैं, चाहे वह एक मिलियन टोकन सेवा करे या दस, उसकी लागत समान है। टोकन-प्रति-भुगतान API केवल उपयोग किए गए टोकन के लिए शुल्क लेता है।
स्व-होस्टिंग तब समझ में आती है जब आपको फाइन-ट्यून करने की आवश्यकता हो, जब डेटा आपके नेटवर्क से बाहर नहीं जा सकता हो, जब आपको एक विशिष्ट मॉडल चलाना हो, या जब आपके पास स्थिर भारी वॉल्यूम हो और मशीन चलाने वाला कोई हो। एक API तब समझ में आता है जब आप एक दोपहर में चालू करना चाहते हैं, जब उपयोग असमान हो, या जब एक व्यक्ति सब कुछ कर रहा हो।
इस लेख का शेष भाग आपको ऐसे संख्याएँ देता है जिन्हें आप दोहरा सकते हैं। यह हार्डवेयर या क्लाउड कीमतों का कोटेशन नहीं देता, क्योंकि वे बदलते रहते हैं; आपको अपने कोट को सूत्रों में जोड़ना होगा।
मॉडल को वास्तव में किस हार्डवेयर की आवश्यकता है
मुख्य बाधा GPU मेमोरी है। वेट्स अकेले लगभग parameters × bytes per parameter लेते हैं:
| मॉडल साइज़ | 16-बिट (2 बाइट) | 8-बिट (1 बाइट) | 4-बिट (0.5 बाइट) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
यह फ्लोर है। आपको एटेंशन कैश के लिए मेमोरी की भी आवश्यकता होती है, जो कॉन्टेक्स्ट लंबाई और समानांतर अनुरोधों की संख्या के साथ बढ़ती है, साथ ही रनटाइम ओवरहेड भी। एक 100,000-टोकन कॉन्टेक्स्ट को एक साथ कई उपयोगकर्ताओं को सर्व करने में वेट्स से कहीं अधिक मेमोरी लग सकती है, और संख्याएँ मॉडल की आर्किटेक्चर पर निर्भर करती हैं। छोटे क्वांटाइज़्ड मॉडल एकल कन्स्यूमर GPU पर चलते हैं; बड़े मॉडल को कई GPU या किराए का नोड चाहिए, साथ ही अनुरोधों को बैच करने के लिए vLLM या llama.cpp जैसा इन्फरेंस सर्वर चाहिए।
4-बिट पर क्वांटाइज़ करने से मेमोरी बचती है, लेकिन गुणवत्ता में कुछ कमी आती है, और नुकसान मॉडल और कार्य के अनुसार अलग-अलग होता है। आपको इसे अपने प्रॉम्प्ट पर टेस्ट करना होगा।
हार्डवेयर कोट में शामिल नहीं कार्य
हार्डवेयर दृश्यमान लागत है। कम दृश्यमान भाग संचालन है:
- सेटअप। ड्राइवर, CUDA वर्जन, एक इनफरेंस सर्वर, एक OpenAI-संगत परत, प्रमाणीकरण और एक रिवर्स प्रॉक्सी। एक पहली कार्यशील सेटअप अक्सर एक दिन या उससे अधिक समय लेता है; एक उत्पादन सेटअप उससे अधिक समय लेता है।
- ट्यूनिंग। बैच साइज, कॉन्टेक्स्ट सीमा, मेमोरी सेटिंग्स और सैम्पलिंग डिफ़ॉल्ट्स यह तय करते हैं कि आप 2 उपयोगकर्ताओं को सर्व करेंगे या 20 को।
- अपडेट्स। नए मॉडल वर्शन, सिक्योरिटी पैच और इन्फरेंस सर्वर रिलीज़ नियमित रूप से आते हैं और कभी-कभी चीजें तोड़ देते हैं।
- मॉनिटरिंग। किसी को यह नोटिस करना होगा कि रात में GPU की मेमोरी खत्म हो जाती है।
- निष्क्रिय समय। एक मशीन जो उपयोग में नहीं है, फिर भी बिजली या किराये का खर्च करती है।
अपने समय पर प्रति घंटे का मूल्य तय करें और महीने में लगभग चार से आठ घंटे की रखरखाव जोड़ें। यह संख्या अक्सर छोटे डिप्लॉयमेंट के लिए बिजली के बिल से अधिक होती है।
उसी वॉल्यूम के लिए API की लागत
यह API $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन चार्ज करता है, प्रीपेड क्रेडिट से जो कभी समाप्त नहीं होता। कोई सब्सक्रिप्शन नहीं है, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। मासिक आधार पर गणना के उदाहरण:
| मासिक टोकन (इनपुट / आउटपुट) | इनपुट लागत | आउटपुट लागत | कुल |
|---|---|---|---|
| 20M / 5M | $3.00 | $2.50 | $5.50 |
| 100M / 20M | $15.00 | $10.00 | $25.00 |
| 1,000M / 200M | $150.00 | $100.00 | $250.00 |
5 से 1 के इनपुट-आउटपुट मिक्स के लिए, 6M टोकन का खर्च 5 × $0.15 + 1 × $0.50 = $1.25 होता है, या लगभग $0.21 प्रति मिलियन टोकन मिश्रित। आपका मिक्स अलग होगा, इसलिए अपने औसत के साथ इसे फिर से गणना करें। टॉप-अप राशि और बोनस के लिए मूल्य निर्धारण पेज देखें।
अपना ब्रेक-ईवन बिंदु खोजें
हर महीने जो कुछ भी आप सेल्फ-होस्ट करने के लिए भुगतान करेंगे, उसका योग करें: हार्डवेयर लागत को उन महीनों में बांटें जिनके लिए आप इसे उपयोग करेंगे, या किराया; बिजली; और आपके रखरखाव घंटों का मान। कुल राशि को F कहें। तब:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
मासिक स्थिर लागत का प्रत्येक $100 उस मिक्स पर API पर लगभग 480M टोकन के बराबर है। यदि आपका वास्तविक ट्रैफिक ब्रेक-ईवन आंकड़े से काफी नीचे है, जो कि अधिकांश साइड प्रोजेक्ट्स, आंतरिक टूल्स और छोटे उत्पादों के लिए सत्य है, तो API सस्ता है। यदि यह उससे काफी ऊपर और स्थिर है, तो मशीन खरीदना जीत सकता है। वर्तमान संख्याओं का उपयोग करके उस तुलना की जाँच करें, क्योंकि दोनों पक्ष बदलते हैं।
याद रखें कि सेल्फ-होस्टेड क्षमता भी एक छत है। एक मशीन एक साथ केवल इतने ही अनुरोधों की सेवा कर सकती है। यहाँ एक पूर्ण कुंजी पर, 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति है, और उनके पीछे की क्षमता आपकी समस्या नहीं है।
आप एक होस्टेड API के साथ क्या खो देते हैं
एक API मुफ़्त का भोजन नहीं है, और कुछ सीमाओं को स्पष्ट रूप से बयान करना महत्वपूर्ण है।
- एक मॉडल। यह सेवा एक स्वतंत्र प्रदाता से एकल ओपन-वेट मॉडल चलाती है, मॉडल ID
uncensored। आप इसे बदल नहीं सकते या अपने स्वयं के वजन लोड नहीं कर सकते। - केवल टेक्स्ट: कोई इमेज, ऑडियो, वीडियो या एम्बेडिंग नहीं, और कोई फाइन-ट्यूनिंग नहीं।
- 100,000 टोकन का कॉन्टेक्स्ट विंडो, प्रॉम्प्ट और कम्प्लीशन सहित।
- आपके प्रॉम्प्ट आपके नेटवर्क से बाहर चले जाते हैं। वे ट्रेनिंग के लिए उपयोग नहीं किए जाते हैं, लेकिन यदि नीति ऑन-प्राइमिसिस प्रोसेसिंग की आवश्यकता करती है, तो स्व-होस्टिंग ही जवाब है।
इसके बदले में आपको स्ट्रीमिंग, फ़ंक्शन कॉलिंग और JSON मोड मिलते हैं, जो मानक OpenAI इंटरफ़ेस के पीछे काम करते हैं, इसलिए मौजूदा कोड बदली गई Base URL के साथ काम करता है। फ्रेमवर्क्स भी मदद करते हैं; LangChain के साथ ओपन-सोर्स मॉडल का उपयोग पर हमारा नोट दिखाता है कि इस तरह के एंडपॉइंट को कैसे इंगित करें।
निर्णय लेने का एक सस्ता तरीका
सुनिश्चित होने से पहले हार्डवेयर न खरीदें। पहले API के माध्यम से अपना वास्तविक कार्यभार चलाएँ, प्रति माह टोकन मापें, और फिर होस्टिंग कोटेशन से तुलना करें। API कुंजी पृष्ठ पर $0.50 का एक-क्लिक ट्रायल उपलब्ध है, और कॉल सामान्य OpenAI जैसी ही है:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
प्रतिक्रिया में एक उपयोग वस्तु और X-Balance-USD हेडर शामिल है, इसलिए सामान्य उपयोग का एक सप्ताह आपको एक वास्तविक मासिक आंकड़ा देता है। यदि वह आंकड़ा ब्रेक-ईवन के करीब आता है, तो आपके पास निर्णय लेने के लिए डेटा है। सेटअप विवरण दस्तावेज़ीकरण में हैं। शामिल मॉडल के प्रकार के पृष्ठभूमि के लिए, एक बिना सेंसर AI मॉडल क्या है देखें।

