HI ▾

Uncensored Model HubLLM स्व-होस्टिंग बनाम API: लागत, प्रयास और ब्रेक-ईवन

LLM स्व-होस्टिंग बनाम API: लागत, प्रयास और ब्रेक-ईवन

LLM को स्व-होस्ट करना बनाम API का प्रश्न मुख्य रूप से गणित है और अपने समय की एक ईमानदार झलक देखने का। किसी मॉडल को स्वयं चलाने से नियंत्रण और एक निश्चित बिल मिलता है; एक API आपको शून्य सेटअप और उपयोग के अनुसार चलने वाला बिल देता है। यहाँ यह काम करने का तरीका है कि आपका वॉल्यूम किसके लिए बेहतर है।

अपडेट किया गया

एक सर्वर रैक बनाम क्लाउड नोड और सिक्कों के साथ बैलेंस स्केल, स्व-होस्टिंग की API से तुलना करते हुए
ग्लास चेन लिंक्स मॉड्यूलर ब्लॉक्स को सर्वर क्यूब से जोड़ते हुए, एक ओपन-वेट मॉडल API के साथ LangChain को दर्शाते हुए

मुख्य बिंदु

  1. एक मॉडल को 4-बिट पर प्रति पैरामीटर लगभग 0.5 बाइट और 16-बिट पर 2 बाइट की आवश्यकता होती है, कैश और ओवरहेड से पहले, इसलिए 70B मॉडल को लगभग 35 GB से 140 GB GPU मेमोरी की आवश्यकता होती है।
  2. $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट पर, मासिक 100M इनपुट और 20M आउटपुट टोकन की लागत $25 है।
  3. सेल्फ-होस्टिंग फाइन-ट्यूनिंग, ऑफलाइन उपयोग और बहुत उच्च स्थिर मात्रा पर जीतता है; एक API कम या चढ़-उतार वाले ट्रैफ़िक पर जीतता है।
  4. अपने घंटों की गणना करें: अपडेट, ड्राइवर और मॉनिटरिंग लागत का हिस्सा हैं।

संक्षिप्त उत्तर

अधिकांश व्यक्तिगत उपयोगकर्ताओं और छोटी टीमों के लिए, जब तक ट्राफिक उच्च और स्थिर न हो, API सस्ता होता है। LLM स्व-होस्टिंग बनाम API निर्णयों के लिए, निर्णायक चर उपयोगिता है: एक GPU जिसे आप दिन-रात भुगतान करते हैं, चाहे वह एक मिलियन टोकन सेवा करे या दस, उसकी लागत समान है। टोकन-प्रति-भुगतान API केवल उपयोग किए गए टोकन के लिए शुल्क लेता है।

स्व-होस्टिंग तब समझ में आती है जब आपको फाइन-ट्यून करने की आवश्यकता हो, जब डेटा आपके नेटवर्क से बाहर नहीं जा सकता हो, जब आपको एक विशिष्ट मॉडल चलाना हो, या जब आपके पास स्थिर भारी वॉल्यूम हो और मशीन चलाने वाला कोई हो। एक API तब समझ में आता है जब आप एक दोपहर में चालू करना चाहते हैं, जब उपयोग असमान हो, या जब एक व्यक्ति सब कुछ कर रहा हो।

इस लेख का शेष भाग आपको ऐसे संख्याएँ देता है जिन्हें आप दोहरा सकते हैं। यह हार्डवेयर या क्लाउड कीमतों का कोटेशन नहीं देता, क्योंकि वे बदलते रहते हैं; आपको अपने कोट को सूत्रों में जोड़ना होगा।

मॉडल को वास्तव में किस हार्डवेयर की आवश्यकता है

मुख्य बाधा GPU मेमोरी है। वेट्स अकेले लगभग parameters × bytes per parameter लेते हैं:

मॉडल साइज़16-बिट (2 बाइट)8-बिट (1 बाइट)4-बिट (0.5 बाइट)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

यह फ्लोर है। आपको एटेंशन कैश के लिए मेमोरी की भी आवश्यकता होती है, जो कॉन्टेक्स्ट लंबाई और समानांतर अनुरोधों की संख्या के साथ बढ़ती है, साथ ही रनटाइम ओवरहेड भी। एक 100,000-टोकन कॉन्टेक्स्ट को एक साथ कई उपयोगकर्ताओं को सर्व करने में वेट्स से कहीं अधिक मेमोरी लग सकती है, और संख्याएँ मॉडल की आर्किटेक्चर पर निर्भर करती हैं। छोटे क्वांटाइज़्ड मॉडल एकल कन्स्यूमर GPU पर चलते हैं; बड़े मॉडल को कई GPU या किराए का नोड चाहिए, साथ ही अनुरोधों को बैच करने के लिए vLLM या llama.cpp जैसा इन्फरेंस सर्वर चाहिए।

4-बिट पर क्वांटाइज़ करने से मेमोरी बचती है, लेकिन गुणवत्ता में कुछ कमी आती है, और नुकसान मॉडल और कार्य के अनुसार अलग-अलग होता है। आपको इसे अपने प्रॉम्प्ट पर टेस्ट करना होगा।

हार्डवेयर कोट में शामिल नहीं कार्य

हार्डवेयर दृश्यमान लागत है। कम दृश्यमान भाग संचालन है:

  • सेटअप। ड्राइवर, CUDA वर्जन, एक इनफरेंस सर्वर, एक OpenAI-संगत परत, प्रमाणीकरण और एक रिवर्स प्रॉक्सी। एक पहली कार्यशील सेटअप अक्सर एक दिन या उससे अधिक समय लेता है; एक उत्पादन सेटअप उससे अधिक समय लेता है।
  • ट्यूनिंग। बैच साइज, कॉन्टेक्स्ट सीमा, मेमोरी सेटिंग्स और सैम्पलिंग डिफ़ॉल्ट्स यह तय करते हैं कि आप 2 उपयोगकर्ताओं को सर्व करेंगे या 20 को।
  • अपडेट्स। नए मॉडल वर्शन, सिक्योरिटी पैच और इन्फरेंस सर्वर रिलीज़ नियमित रूप से आते हैं और कभी-कभी चीजें तोड़ देते हैं।
  • मॉनिटरिंग। किसी को यह नोटिस करना होगा कि रात में GPU की मेमोरी खत्म हो जाती है।
  • निष्क्रिय समय। एक मशीन जो उपयोग में नहीं है, फिर भी बिजली या किराये का खर्च करती है।

अपने समय पर प्रति घंटे का मूल्य तय करें और महीने में लगभग चार से आठ घंटे की रखरखाव जोड़ें। यह संख्या अक्सर छोटे डिप्लॉयमेंट के लिए बिजली के बिल से अधिक होती है।

उसी वॉल्यूम के लिए API की लागत

यह API $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन चार्ज करता है, प्रीपेड क्रेडिट से जो कभी समाप्त नहीं होता। कोई सब्सक्रिप्शन नहीं है, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। मासिक आधार पर गणना के उदाहरण:

मासिक टोकन (इनपुट / आउटपुट)इनपुट लागतआउटपुट लागतकुल
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

5 से 1 के इनपुट-आउटपुट मिक्स के लिए, 6M टोकन का खर्च 5 × $0.15 + 1 × $0.50 = $1.25 होता है, या लगभग $0.21 प्रति मिलियन टोकन मिश्रित। आपका मिक्स अलग होगा, इसलिए अपने औसत के साथ इसे फिर से गणना करें। टॉप-अप राशि और बोनस के लिए मूल्य निर्धारण पेज देखें।

अपना ब्रेक-ईवन बिंदु खोजें

हर महीने जो कुछ भी आप सेल्फ-होस्ट करने के लिए भुगतान करेंगे, उसका योग करें: हार्डवेयर लागत को उन महीनों में बांटें जिनके लिए आप इसे उपयोग करेंगे, या किराया; बिजली; और आपके रखरखाव घंटों का मान। कुल राशि को F कहें। तब:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

मासिक स्थिर लागत का प्रत्येक $100 उस मिक्स पर API पर लगभग 480M टोकन के बराबर है। यदि आपका वास्तविक ट्रैफिक ब्रेक-ईवन आंकड़े से काफी नीचे है, जो कि अधिकांश साइड प्रोजेक्ट्स, आंतरिक टूल्स और छोटे उत्पादों के लिए सत्य है, तो API सस्ता है। यदि यह उससे काफी ऊपर और स्थिर है, तो मशीन खरीदना जीत सकता है। वर्तमान संख्याओं का उपयोग करके उस तुलना की जाँच करें, क्योंकि दोनों पक्ष बदलते हैं।

याद रखें कि सेल्फ-होस्टेड क्षमता भी एक छत है। एक मशीन एक साथ केवल इतने ही अनुरोधों की सेवा कर सकती है। यहाँ एक पूर्ण कुंजी पर, 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति है, और उनके पीछे की क्षमता आपकी समस्या नहीं है।

आप एक होस्टेड API के साथ क्या खो देते हैं

एक API मुफ़्त का भोजन नहीं है, और कुछ सीमाओं को स्पष्ट रूप से बयान करना महत्वपूर्ण है।

  • एक मॉडल। यह सेवा एक स्वतंत्र प्रदाता से एकल ओपन-वेट मॉडल चलाती है, मॉडल ID uncensored। आप इसे बदल नहीं सकते या अपने स्वयं के वजन लोड नहीं कर सकते।
  • केवल टेक्स्ट: कोई इमेज, ऑडियो, वीडियो या एम्बेडिंग नहीं, और कोई फाइन-ट्यूनिंग नहीं।
  • 100,000 टोकन का कॉन्टेक्स्ट विंडो, प्रॉम्प्ट और कम्प्लीशन सहित।
  • आपके प्रॉम्प्ट आपके नेटवर्क से बाहर चले जाते हैं। वे ट्रेनिंग के लिए उपयोग नहीं किए जाते हैं, लेकिन यदि नीति ऑन-प्राइमिसिस प्रोसेसिंग की आवश्यकता करती है, तो स्व-होस्टिंग ही जवाब है।

इसके बदले में आपको स्ट्रीमिंग, फ़ंक्शन कॉलिंग और JSON मोड मिलते हैं, जो मानक OpenAI इंटरफ़ेस के पीछे काम करते हैं, इसलिए मौजूदा कोड बदली गई Base URL के साथ काम करता है। फ्रेमवर्क्स भी मदद करते हैं; LangChain के साथ ओपन-सोर्स मॉडल का उपयोग पर हमारा नोट दिखाता है कि इस तरह के एंडपॉइंट को कैसे इंगित करें।

निर्णय लेने का एक सस्ता तरीका

सुनिश्चित होने से पहले हार्डवेयर न खरीदें। पहले API के माध्यम से अपना वास्तविक कार्यभार चलाएँ, प्रति माह टोकन मापें, और फिर होस्टिंग कोटेशन से तुलना करें। API कुंजी पृष्ठ पर $0.50 का एक-क्लिक ट्रायल उपलब्ध है, और कॉल सामान्य OpenAI जैसी ही है:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

प्रतिक्रिया में एक उपयोग वस्तु और X-Balance-USD हेडर शामिल है, इसलिए सामान्य उपयोग का एक सप्ताह आपको एक वास्तविक मासिक आंकड़ा देता है। यदि वह आंकड़ा ब्रेक-ईवन के करीब आता है, तो आपके पास निर्णय लेने के लिए डेटा है। सेटअप विवरण दस्तावेज़ीकरण में हैं। शामिल मॉडल के प्रकार के पृष्ठभूमि के लिए, एक बिना सेंसर AI मॉडल क्या है देखें।

प्रश्न और उत्तर

क्या LLM को स्वयं होस्ट करना API से सस्ता है?

केवल उच्च, स्थिर मात्रा पर। एक GPU की लागत आइडल या व्यस्त होने पर समान होती है, जबकि एक API प्रति टोकन चार्ज करता है। ऊपर दिए गए सूत्र का उपयोग करके अपने ब्रेक-ईवन की गणना करें।

मुझे कितनी GPU मेमोरी की आवश्यकता है?

वजन 16-बिट पर प्रति पैरामीटर लगभग 2 बाइट लेते हैं और 4-बिट पर 0.5 बाइट, इसलिए एक 70B मॉडल को लगभग 140 GB या 35 GB की आवश्यकता होती है, साथ ही कॉन्टेक्स्ट कैश के लिए मेमोरी की भी आवश्यकता होती है।

क्या मैं इस API पर फाइन-ट्यून कर सकता हूँ?

नहीं। यह केवल टेक्स्ट-आधारित इनफरेंस है जिसमें न तो फाइन-ट्यूनिंग है और न ही एम्बेडिंग्स। यदि आपको कस्टम वजन चाहिए, तो सेल्फ-होस्टिंग सही रास्ता है।

API का क्या खर्च है?

$0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन, प्रीपेड, कोई सब्सक्रिप्शन नहीं, और विफल अनुरोधों के लिए चार्ज नहीं किया जाता है।

क्या आप मेरे प्रॉम्प्ट पर ट्रेन करते हैं?

नहीं। प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते हैं।

आपकी कुंजी बस एक फ़ॉर्म भरने की दूरी पर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। यही पूरा सेटअप है।

API कुंजी पाएँ