होस्टिंग आपके लिए क्या संभालती है
उत्पादन में एक भाषा मॉडल चलाने में वेट डाउनलोड करने से कहीं ज्यादा शामिल है। एक होस्टेड API निम्नलिखित जिम्मेदारी लेती है ताकि आपका कोड न करे:
| होस्ट द्वारा संभाला गया | अभी भी आपका |
|---|---|
| GPU, ड्राइवर और इन्फरेंस सर्वर | अपने प्रॉम्प्ट लिखना और परीक्षण करना |
| मॉडल लोड करना और उसे वॉर्म रखना | temperature, max_tokens और अन्य सेटिंग्स चुनना |
| बहुत सारे अनुरोधों को एक साथ बैच करना | 429 प्रतिक्रियाओं के लिए रीट्राई लॉजिक |
| प्रमाणीकरण और रेट लिमिट | अपनी API कुंजी को गुप्त रखना |
| मीटरिंग और प्रीपेड बैलेंस | अपनी खर्च पर नज़र रखना |
| सर्विंग साइड पर सॉफ़्टवेयर अपडेट | अपने ऐप में मॉडल आउटपुट हैंडल करना |
यह सेवा एक OpenAI-कम्पैटिबल चैट API है जो एक ओपन-वेट मॉडल सर्व करती है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है और न ही कई मॉडल के बीच एक रूटर है। केवल टेक्स्ट: कोई इमेज, ऑडियो या वीडियो जनरेशन नहीं, कोई एम्बेडिंग नहीं और कोई फाइन-ट्यूनिंग नहीं।
आपका पहला अनुरोध
Google या ईमेल और पासवर्ड के साथ एक खाता बनाएं, फिर API key पेज से एक कुंजी कॉपी करें। वहाँ एक-क्लिक ट्रायल क्लेम करने पर $0.50 का क्रेडिट जोड़ता है, जो 7 दिनों के लिए मान्य है, बिना किसी कार्ड के।
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
उसी एंडपॉइंट्स में POST /v1/responses और GET /v1/models भी शामिल हैं। दस्तावेज़ में पैरामीटर सूचीबद्ध हैं।
स्ट्रीमिंग, टूल्स और JSON मोड
चैट API से जो कुछ डेवलपर्स उपयोग करते हैं, वह उपलब्ध है।
- स्ट्रीमिंग। टोकन जनरेट होने पर सर्वर-सेंट इवेंट प्राप्त करने के लिए
stream: trueसेट करें; उपयोग अंत में रिपोर्ट किया जाता है। चैट UI इस पर निर्भर करते हैं। - फ़ंक्शन कॉलिंग।
toolsऔरtool_choiceपास करें, प्रतिक्रिया सेtool_callsपढ़ें (वे भी स्ट्रीम होते हैं), और परिणामों कोrole: "tool"वाले संदेशों के रूप में लौटाएँ। - JSON मोड।
response_format: {"type":"json_object"}मॉडल से JSON ऑब्जेक्ट लौटवाता है, जो एक्सट्रैक्शन और वर्गीकरण के लिए उपयोगी है। - सैंपलिंग नियंत्रण। temperature, top_p, stop, seed और पेनल्टी पास की जाती हैं।
पायथन में एक स्ट्रीमिंग कॉल इस प्रकार दिखती है:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
वे लाइब्रेरी जो पहले से OpenAI फॉर्मेट समझती हैं, जैसे LangChain, बेस URL बदलकर काम करती हैं; हमारा ओपन-सोर्स मॉडल के साथ LangChain पेज एक उदाहरण दिखाता है।
सीमाएँ और उन्हें हैंडल करना
होस्टिंग शेयर्ड है, इसलिए सीमाएँ हैं। API के चारों ओर लूप बनाने से पहले उन्हें जानें।
- कॉन्टेक्स्ट: 100,000 टोकन, प्रॉम्प्ट और कंप्लीशन सहित। कंप्लीशन प्रॉम्प्ट द्वारा बचे हुए किसी भी टोकन का उपयोग कर सकता है, और
max_tokensवैकल्पिक है। - कॉन्करेंसी और रेट: एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है; एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। एक स्ट्रीमिंग अनुरोध स्ट्रीम समाप्त होने तक अपना स्लॉट बनाए रखता है।
- बॉडी का आकार: प्रति अनुरोध 8 MB।
- 429 प्रतिक्रियाएं: प्रति मिनट अनुरोधों के लिए त्रुटि कोड
rate_limitedहै, एक साथ बहुत अधिक अनुरोधों के लिएconcurrencyहै, और अस्थायी ओवरलोड परRetry-After: 5हेडर दिखाई देता है।
अधिकतर ऐप्स में प्रतीक्षा करके फिर से कोशिश करने वाला एक साधारण रीट्राई पर्याप्त है। यदि एक अनुरोध विफल हो जाता है क्योंकि प्रॉम्प्ट बहुत लंबा है, तो कॉन्टेक्स्ट विंडो सीमा पार होने की त्रुटियाँ पेज सारांश बनाने या इतिहास को ट्रंक करने जैसे समाधान कवर करता है।
प्रतिक्रिया हेडर निगरानी में मदद करते हैं: X-Request-Id सपोर्ट टिकट में उद्धृत करने के लिए, X-RateLimit-Limit-Requests और X-RateLimit-Limit-Concurrency आपकी सीमाओं के लिए, और X-Balance-USD शेष राशि के लिए।
मौजूदा ऐप को माइग्रेट करना
यदि आपका कोड पहले से ही एक OpenAI क्लाइंट का उपयोग करता है, तो आपको इसे फिर से लिखने की बहुत कम आवश्यकता होती है। आधिकारिक SDK दो एनवायरनमेंट वेरिएबल पढ़ते हैं, इसलिए स्विच कोड के बाहर हो सकता है:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
फिर अपने कोड में जहाँ भी मॉडल का नाम दिया जाता है, मॉडल नाम को uncensored पर सेट करें। लाइव जाने से पहले जाँचने योग्य तीन बातें हैं:
- विशेषताएँ जिन पर आप निर्भर करते हैं। चैट, स्ट्रीमिंग, टूल्स और JSON मोड काम करते हैं। एम्बेडिंग्स, इमेज या ऑडियो एंडपॉइंट्स पर कॉल काम नहीं करेंगी, क्योंकि यह केवल टेक्स्ट-आधारित सेवा है।
- प्रॉम्प्ट की लंबाई। कुल 100,000 टोकन से अधिक कुछ भी पहले काट या सारांशित किया जाना चाहिए।
- समकालिकता। यदि आपका ऐप एक साथ 8 से अधिक अनुरोध भेज सकता है, तो क्लाइंट के सामने एक क्यू या सेमाफोर लगाएं ताकि आप पीक पर 429 त्रुटियाँ न ट्रिगर करें।
कुंजी को सर्वर पर रखें। इसे ब्राउज़र कोड या मोबाइल ऐप में कभी न भेजें, क्योंकि इसे निकालने वाला कोई भी आपका बैलेंस खर्च कर सकता है। इसे एक एनवायरनमेंट वेरिएबल या सीक्रेट्स मैनेजर में स्टोर करें, और यदि यह लीक हो जाए तो इसे रोटेट करें।
लागत और बिलिंग
बिलिंग प्रति टोकन है: $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट। क्रेडिट प्रीपेड है और समाप्त नहीं होता, और कोई सब्सक्रिप्शन नहीं है। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।
एक त्वरित उदाहरण। 2,000 टोकन इनपुट और 500 टोकन आउटपुट वाले अनुरोध की लागत 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055 है। यह प्रति डॉलर 1,818 ऐसे अनुरोध हैं। टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि पर, क्रिप्टो (TRC20 पर USDT, Base पर USDC) से होते हैं, $50 से +5% बोनस, $100 से +10% और $200 से +15% मिलता है। मूल्य निर्धारण पेज देखें।
कोड में अपना बैलेंस जाँचने के लिए, GET /v1/balance कॉल करें या OpenAI-शैली GET /v1/dashboard/billing/credit_grants का उपयोग करें, या किसी भी प्रतिक्रिया से X-Balance-USD पढ़ें।
होस्टेड या स्वयं चलाएँ: एक त्वरित जाँच
एक होस्टेड API तब फिट बैठता है जब आप जल्दी शिप करना चाहते हैं, असमान ट्राफिक है, या आप GPUs को ऑपरेट नहीं करना चाहते। आप मॉडल के चयन और फाइन-ट्यून करने की क्षमता छोड़ देते हैं। प्रॉम्प्ट प्रोवाइडर को भेजे जाते हैं, हालाँकि वे ट्रेनिंग के लिए उपयोग नहीं किए जाते हैं।
यदि आप इसे अपनी खुद की हार्डवेयर चलाने के साथ तुलना कर रहे हैं, तो ऊपर दी गई प्रति-टोकन लागत की तुलना अपनी हार्डवेयर की कीमत से करें। मॉडल प्रकार के बारे में पृष्ठभूमि के लिए, बिना सेंसर AI मॉडल क्या है पढ़ें। सामग्री के मामले में, मॉडल कानूनी वयस्कों के उपयोग के लिए बिना अस्वीकृति के उत्तर देने के लिए ट्यून्ड है, एक कठोर सीमा के साथ: नाबालिगों से जुड़ी किसी भी यौन सामग्री की अनुमति नहीं है।

