HI ▾

Uncensored Model HubLLM होस्टिंग API: आपको क्या मिलता है और क्या छोड़ते हैं

LLM होस्टिंग API: आपको क्या मिलता है और क्या छोड़ते हैं

एक LLM होस्टिंग API का अर्थ है कि किसी और के पास GPUs हैं, मॉडल लोड है, और सर्वर चल रहा है, और आप HTTP अनुरोध भेजते हैं। आप प्रति टोकन भुगतान करते हैं और इंफ्रास्ट्रक्चर छोड़ देते हैं। इस पृष्ठ पर सूचीबद्ध है कि आपके लिए क्या संभाला गया है, क्या अभी भी आप पर आता है, और तीन भाषाओं में पहला अनुरोध।

अपडेट किया गया

एक चमकदार केबल से लैपटॉप से जुड़ा कांच का सर्वर टावर, जो एक होस्टेड LLM API का प्रतिनिधित्व करता है
ग्लास चेन लिंक्स मॉड्यूलर ब्लॉक्स को सर्वर क्यूब से जोड़ते हुए, एक ओपन-वेट मॉडल API के साथ LangChain को दर्शाते हुए

मुख्य बिंदु

  1. होस्टिंग में GPUs, मॉडल लोडिंग, बैचिंग, स्केलिंग और HTTP एंडपॉइंट शामिल हैं; आप प्रॉम्प्ट और कुंजी प्रदान करते हैं।
  2. इंटरफ़ेस OpenAI-कम्पैटिबल है: बेस URL को https://api.uncensoredmodelhub.com/v1 पर बदलें और मॉडल uncensored का उपयोग करें।
  3. स्ट्रीमिंग, टूल कॉलिंग और JSON मोड समर्थित हैं; कोई छवि, ऑडियो, एम्बेडिंग या फाइन-ट्यूनिंग एंडपॉइंट नहीं है।
  4. योजना के लिए लिमिट्स: 100,000 टोकन का कॉन्टेक्स्ट विंडो, 8 समानांतर अनुरोध और पूर्ण कुंजी पर प्रति मिनट 300।

होस्टिंग आपके लिए क्या संभालती है

उत्पादन में एक भाषा मॉडल चलाने में वेट डाउनलोड करने से कहीं ज्यादा शामिल है। एक होस्टेड API निम्नलिखित जिम्मेदारी लेती है ताकि आपका कोड न करे:

होस्ट द्वारा संभाला गयाअभी भी आपका
GPU, ड्राइवर और इन्फरेंस सर्वरअपने प्रॉम्प्ट लिखना और परीक्षण करना
मॉडल लोड करना और उसे वॉर्म रखनाtemperature, max_tokens और अन्य सेटिंग्स चुनना
बहुत सारे अनुरोधों को एक साथ बैच करना429 प्रतिक्रियाओं के लिए रीट्राई लॉजिक
प्रमाणीकरण और रेट लिमिटअपनी API कुंजी को गुप्त रखना
मीटरिंग और प्रीपेड बैलेंसअपनी खर्च पर नज़र रखना
सर्विंग साइड पर सॉफ़्टवेयर अपडेटअपने ऐप में मॉडल आउटपुट हैंडल करना

यह सेवा एक OpenAI-कम्पैटिबल चैट API है जो एक ओपन-वेट मॉडल सर्व करती है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है और न ही कई मॉडल के बीच एक रूटर है। केवल टेक्स्ट: कोई इमेज, ऑडियो या वीडियो जनरेशन नहीं, कोई एम्बेडिंग नहीं और कोई फाइन-ट्यूनिंग नहीं।

आपका पहला अनुरोध

Google या ईमेल और पासवर्ड के साथ एक खाता बनाएं, फिर API key पेज से एक कुंजी कॉपी करें। वहाँ एक-क्लिक ट्रायल क्लेम करने पर $0.50 का क्रेडिट जोड़ता है, जो 7 दिनों के लिए मान्य है, बिना किसी कार्ड के।

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

उसी एंडपॉइंट्स में POST /v1/responses और GET /v1/models भी शामिल हैं। दस्तावेज़ में पैरामीटर सूचीबद्ध हैं।

स्ट्रीमिंग, टूल्स और JSON मोड

चैट API से जो कुछ डेवलपर्स उपयोग करते हैं, वह उपलब्ध है।

  • स्ट्रीमिंग। टोकन जनरेट होने पर सर्वर-सेंट इवेंट प्राप्त करने के लिए stream: true सेट करें; उपयोग अंत में रिपोर्ट किया जाता है। चैट UI इस पर निर्भर करते हैं।
  • फ़ंक्शन कॉलिंग। tools और tool_choice पास करें, प्रतिक्रिया से tool_calls पढ़ें (वे भी स्ट्रीम होते हैं), और परिणामों को role: "tool" वाले संदेशों के रूप में लौटाएँ।
  • JSON मोड। response_format: {"type":"json_object"} मॉडल से JSON ऑब्जेक्ट लौटवाता है, जो एक्सट्रैक्शन और वर्गीकरण के लिए उपयोगी है।
  • सैंपलिंग नियंत्रण। temperature, top_p, stop, seed और पेनल्टी पास की जाती हैं।

पायथन में एक स्ट्रीमिंग कॉल इस प्रकार दिखती है:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

वे लाइब्रेरी जो पहले से OpenAI फॉर्मेट समझती हैं, जैसे LangChain, बेस URL बदलकर काम करती हैं; हमारा ओपन-सोर्स मॉडल के साथ LangChain पेज एक उदाहरण दिखाता है।

सीमाएँ और उन्हें हैंडल करना

होस्टिंग शेयर्ड है, इसलिए सीमाएँ हैं। API के चारों ओर लूप बनाने से पहले उन्हें जानें।

  • कॉन्टेक्स्ट: 100,000 टोकन, प्रॉम्प्ट और कंप्लीशन सहित। कंप्लीशन प्रॉम्प्ट द्वारा बचे हुए किसी भी टोकन का उपयोग कर सकता है, और max_tokens वैकल्पिक है।
  • कॉन्करेंसी और रेट: एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है; एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। एक स्ट्रीमिंग अनुरोध स्ट्रीम समाप्त होने तक अपना स्लॉट बनाए रखता है।
  • बॉडी का आकार: प्रति अनुरोध 8 MB।
  • 429 प्रतिक्रियाएं: प्रति मिनट अनुरोधों के लिए त्रुटि कोड rate_limited है, एक साथ बहुत अधिक अनुरोधों के लिए concurrency है, और अस्थायी ओवरलोड पर Retry-After: 5 हेडर दिखाई देता है।

अधिकतर ऐप्स में प्रतीक्षा करके फिर से कोशिश करने वाला एक साधारण रीट्राई पर्याप्त है। यदि एक अनुरोध विफल हो जाता है क्योंकि प्रॉम्प्ट बहुत लंबा है, तो कॉन्टेक्स्ट विंडो सीमा पार होने की त्रुटियाँ पेज सारांश बनाने या इतिहास को ट्रंक करने जैसे समाधान कवर करता है।

प्रतिक्रिया हेडर निगरानी में मदद करते हैं: X-Request-Id सपोर्ट टिकट में उद्धृत करने के लिए, X-RateLimit-Limit-Requests और X-RateLimit-Limit-Concurrency आपकी सीमाओं के लिए, और X-Balance-USD शेष राशि के लिए।

मौजूदा ऐप को माइग्रेट करना

यदि आपका कोड पहले से ही एक OpenAI क्लाइंट का उपयोग करता है, तो आपको इसे फिर से लिखने की बहुत कम आवश्यकता होती है। आधिकारिक SDK दो एनवायरनमेंट वेरिएबल पढ़ते हैं, इसलिए स्विच कोड के बाहर हो सकता है:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

फिर अपने कोड में जहाँ भी मॉडल का नाम दिया जाता है, मॉडल नाम को uncensored पर सेट करें। लाइव जाने से पहले जाँचने योग्य तीन बातें हैं:

  • विशेषताएँ जिन पर आप निर्भर करते हैं। चैट, स्ट्रीमिंग, टूल्स और JSON मोड काम करते हैं। एम्बेडिंग्स, इमेज या ऑडियो एंडपॉइंट्स पर कॉल काम नहीं करेंगी, क्योंकि यह केवल टेक्स्ट-आधारित सेवा है।
  • प्रॉम्प्ट की लंबाई। कुल 100,000 टोकन से अधिक कुछ भी पहले काट या सारांशित किया जाना चाहिए।
  • समकालिकता। यदि आपका ऐप एक साथ 8 से अधिक अनुरोध भेज सकता है, तो क्लाइंट के सामने एक क्यू या सेमाफोर लगाएं ताकि आप पीक पर 429 त्रुटियाँ न ट्रिगर करें।

कुंजी को सर्वर पर रखें। इसे ब्राउज़र कोड या मोबाइल ऐप में कभी न भेजें, क्योंकि इसे निकालने वाला कोई भी आपका बैलेंस खर्च कर सकता है। इसे एक एनवायरनमेंट वेरिएबल या सीक्रेट्स मैनेजर में स्टोर करें, और यदि यह लीक हो जाए तो इसे रोटेट करें।

लागत और बिलिंग

बिलिंग प्रति टोकन है: $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट। क्रेडिट प्रीपेड है और समाप्त नहीं होता, और कोई सब्सक्रिप्शन नहीं है। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।

एक त्वरित उदाहरण। 2,000 टोकन इनपुट और 500 टोकन आउटपुट वाले अनुरोध की लागत 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055 है। यह प्रति डॉलर 1,818 ऐसे अनुरोध हैं। टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि पर, क्रिप्टो (TRC20 पर USDT, Base पर USDC) से होते हैं, $50 से +5% बोनस, $100 से +10% और $200 से +15% मिलता है। मूल्य निर्धारण पेज देखें।

कोड में अपना बैलेंस जाँचने के लिए, GET /v1/balance कॉल करें या OpenAI-शैली GET /v1/dashboard/billing/credit_grants का उपयोग करें, या किसी भी प्रतिक्रिया से X-Balance-USD पढ़ें।

होस्टेड या स्वयं चलाएँ: एक त्वरित जाँच

एक होस्टेड API तब फिट बैठता है जब आप जल्दी शिप करना चाहते हैं, असमान ट्राफिक है, या आप GPUs को ऑपरेट नहीं करना चाहते। आप मॉडल के चयन और फाइन-ट्यून करने की क्षमता छोड़ देते हैं। प्रॉम्प्ट प्रोवाइडर को भेजे जाते हैं, हालाँकि वे ट्रेनिंग के लिए उपयोग नहीं किए जाते हैं।

यदि आप इसे अपनी खुद की हार्डवेयर चलाने के साथ तुलना कर रहे हैं, तो ऊपर दी गई प्रति-टोकन लागत की तुलना अपनी हार्डवेयर की कीमत से करें। मॉडल प्रकार के बारे में पृष्ठभूमि के लिए, बिना सेंसर AI मॉडल क्या है पढ़ें। सामग्री के मामले में, मॉडल कानूनी वयस्कों के उपयोग के लिए बिना अस्वीकृति के उत्तर देने के लिए ट्यून्ड है, एक कठोर सीमा के साथ: नाबालिगों से जुड़ी किसी भी यौन सामग्री की अनुमति नहीं है।

प्रश्न और उत्तर

LLM होस्टिंग API क्या है?

एक सेवा जो अपने स्वयं के GPUs पर एक भाषा मॉडल चलाती है और इसे HTTP के माध्यम से एक्सपोज़ करती है। आप प्रॉम्प्ट भेजते हैं और सर्वर प्रबंधित किए बिना प्रति टोकन के लिए भुगतान करते हैं।

क्या यह OpenAI SDK के साथ संगत है?

हाँ। बेस URL को https://api.uncensoredmodelhub.com/v1 पर सेट करें, अपनी API कुंजी और मॉडल ID uncensored का उपयोग करें।

रेट लिमिट क्या हैं?

एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है। एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। सीमा पार करने पर आपको HTTP 429 प्राप्त होता है।

क्या मैं फाइन-ट्यून कर सकता हूँ या छवियाँ जनरेट कर सकता हूँ?

नहीं। यह केवल पाठ वाला API है जिसमें फाइन-ट्यूनिंग, एम्बेडिंग्स, या छवि, ऑडियो या वीडियो जनरेशन नहीं है।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ