สิ่งที่การโฮสต์จัดการให้คุณ
การรันโมเดลภาษาในสภาพแวดล้อมการผลิตมีมากกว่าแค่การดาวน์โหลดน้ำหนัก API ที่โฮสต์จะรับผิดชอบสิ่งต่อไปนี้เพื่อให้โค้ดของคุณไม่ต้องทำ:
| จัดการโดยผู้โฮสต์ | ยังเป็นของคุณ |
|---|---|
| GPU, ไดรเวอร์ และเซิร์ฟเวอร์อนุมาน | การเขียนและทดสอบพรอมต์ของคุณ |
| โหลดโมเดลและรักษาให้โมเดลยังทำงานอยู่ในหน่วยความจำ | การเลือก temperature, max_tokens และการตั้งค่าอื่นๆ |
| การรวมคำขอจำนวนมากเข้าด้วยกัน | ตรรกะการลองใหม่สำหรับการตอบกลับ 429 |
| การตรวจสอบสิทธิ์และขีดจำกัดอัตรา | การเก็บรักษาคีย์ API ของคุณให้ปลอดภัย |
| การติดตามการใช้บริการและยอดเงินแบบเติมเงินล่วงหน้า | การตรวจสอบการใช้จ่ายของคุณ |
| การอัปเดตซอฟต์แวร์ฝั่งผู้ให้บริการ | การจัดการผลลัพธ์จากโมเดลในแอปของคุณ |
บริการที่นี่คือ API แชทที่เข้ากันได้กับ OpenAI ซึ่งให้บริการโมเดลแบบเปิดน้ำหนักหนึ่งตัว โดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้ให้บริการโมเดลใด ๆ และไม่ใช่ตัวกระจายคำขอข้ามหลายโมเดล รองรับเฉพาะข้อความ: ไม่มีการสร้างภาพ เสียง หรือวิดีโอ ไม่มีการสร้าง embedding และไม่มีการปรับแต่งโมเดล
คำขอครั้งแรกของคุณ
สร้างบัญชีด้วย Google หรืออีเมลและรหัสผ่าน จากนั้นคัดลอกคีย์จากหน้า API key การรับเครดิตทดลองใช้แบบคลิกเดียวที่นั่นจะเพิ่มเครดิต $0.50 ซึ่งใช้ได้เป็นเวลา 7 วัน โดยไม่ต้องใช้บัตร
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
เอนด์พอยต์เดียวกันยังรวมถึง POST /v1/responses และ GET /v1/models เอกสารประกอบ ระบุพารามิเตอร์
สตรีมมิง เครื่องมือ และโหมด JSON
ส่วนใหญ่สิ่งที่นักพัฒนาใช้จาก API แชทมีให้ใช้งาน
- สตรีมมิง ตั้งค่า
stream: trueเพื่อรับเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์เมื่อโทเคนถูกสร้าง; การใช้งานจะรายงานที่ส่วนท้าย หน้าจอแชทพึ่งพาสิ่งนี้ - การเรียกใช้ฟังก์ชัน ส่ง
toolsและtool_choiceอ่านtool_callsจากคำตอบ (พวกมันยังสามารถสตรีมได้) และส่งผลลัพธ์กลับเป็นข้อความด้วยrole: "tool" - โหมด JSON
response_format: {"type":"json_object"}ทำให้โมเดลส่งคืนวัตถุ JSON ซึ่งมีประโยชน์สำหรับการดึงข้อมูลและการจำแนกประเภท - การควบคุมการสุ่ม temperature, top_p, stop, seed และค่าปรับจะถูกส่งผ่าน
การเรียกสตรีมมิงใน Python มีลักษณะดังนี้:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
ไลบรารีที่รองรับรูปแบบ OpenAI อยู่แล้ว เช่น LangChain ทำงานได้โดยการเปลี่ยน base URL; หน้าของเราเกี่ยวกับ LangChain พร้อมโมเดลโอเพนซอร์ส แสดงตัวอย่าง
ขีดจำกัดและการจัดการกับขีดจำกัด
การโฮสต์เป็นแบบแชร์ ดังนั้นจึงมีขีดจำกัด รู้ขีดจำกัดเหล่านี้ก่อนที่คุณจะสร้างลูปรอบ API
- บริบท: 100,000 โทเคน พรอมต์รวมกับการสร้างข้อความ การสร้างข้อความสามารถใช้โทเคนที่เหลือจากพรอมต์ได้ และ
max_tokensเป็นค่าที่ไม่บังคับ - คำขอพร้อมกันและอัตรา คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที; คีย์ทดลองใช้อนุญาตให้ทำ 2 และ 60 คำขอ คำขอแบบสตรีมมิงจะถือช่องว่างไว้จนกว่าสตรีมจะสิ้นสุด
- ขนาดของ body: 8 MB ต่อคำขอ
- การตอบกลับ 429: รหัสข้อผิดพลาดคือ
rate_limitedสำหรับคำขอต่อนาที,concurrencyสำหรับคำขอที่มากเกินไปในครั้งเดียว และหัวข้อความRetry-After: 5จะปรากฏเมื่อระบบมีภาระเกินชั่วคราว
การลองใหม่แบบง่าย ๆ ที่รอและลองอีกครั้งก็เพียงพอสำหรับแอปพลิเคชันส่วนใหญ่ หากคำขอล้มเหลวเนื่องจากพรอมต์ยาวเกินไป หน้า ข้อผิดพลาดหน้าต่างบริบทเกิน จะครอบคลุมวิธีแก้ไข เช่น การสรุปหรือตัดประวัติ
ส่วนหัวของรีสปอนส์ช่วยในการตรวจสอบ: X-Request-Id เพื่ออ้างอิงในตั๋วสนับสนุน, X-RateLimit-Limit-Requests และ X-RateLimit-Limit-Concurrency สำหรับขีดจำกัดของคุณ, และ X-Balance-USD สำหรับยอดคงเหลือที่เหลือ
การย้ายแอปพลิเคชันที่มีอยู่
หากโค้ดของคุณใช้ไคลเอนต์ OpenAI อยู่แล้ว คุณแทบไม่ต้องแก้ไขโค้ดนั้น SDK ทางการอ่านตัวแปรสภาพแวดล้อมสองตัว ดังนั้นการเปลี่ยนจึงเกิดขึ้นนอกโค้ด:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
จากนั้นตั้งชื่อโมเดลเป็น uncensored ทุกครั้งที่โค้ดของคุณระบุชื่อโมเดล มีสามสิ่งที่ควรตรวจสอบก่อนใช้งานจริง:
- ฟีเจอร์ที่คุณพึ่งพา การแชท สตรีมมิง เครื่องมือ และโหมด JSON ทำงานได้ การเรียกใช้เอนด์พอยต์ embeddings, รูปภาพ หรือเสียงจะไม่ทำงาน เนื่องจากนี่เป็นบริการที่เน้นข้อความเท่านั้น
- ความยาวของพรอมต์ ข้อมูลใด ๆ ที่มีโทเคนรวมมากกว่า 100,000 โทเคนต้องถูกตัดหรือสรุปก่อน
- คำขอพร้อมกัน หากแอปของคุณสามารถส่งคำขอมากกว่า 8 คำขอพร้อมกันได้ ให้ใส่คิวหรือเซมาโฟร์ไว้หน้าไคลเอนต์เพื่อไม่ให้เกิดข้อผิดพลาด 429 ในช่วงที่มีการใช้งานสูงสุด
เก็บคีย์ไว้บนเซิร์ฟเวอร์ อย่าส่งคีย์ไปยังโค้ดเบราว์เซอร์หรือแอปมือถือ เพราะใครก็ตามที่ดึงคีย์ไปสามารถใช้ยอดเงินของคุณได้ เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อมหรือผู้จัดการความลับ และเปลี่ยนคีย์หากมีการรั่วไหล
ต้นทุนและการเรียกเก็บเงิน
การเรียกเก็บเงินคิดตามโทเคน: $0.15 ต่อ 1M อินพุต และ $0.50 ต่อ 1M เอาต์พุต เครดิตเป็นแบบเติมเงินล่วงหน้าและไม่หมดอายุ และไม่มีบริการแบบสมาชิก คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน
ตัวอย่างด่วน คำขอที่มีอินพุต 2,000 โทเคนและเอาต์พุต 500 โทเคนมีค่าใช้จ่าย 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055 นั่นคือคำขอขนาดนั้น 1,818 คำขอต่อ $1 การเติมเงินเป็นจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 โดยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 ดูหน้า ราคา
เพื่อตรวจสอบยอดเงินในโค้ด ให้เรียกใช้ GET /v1/balance หรือแบบ OpenAI-style GET /v1/dashboard/billing/credit_grants หรืออ่านค่า X-Balance-USD จากรีสปอนส์ใดก็ได้
โฮสต์หรือรันเอง: การตรวจสอบอย่างรวดเร็ว
API ที่โฮสต์เหมาะเมื่อคุณต้องการส่งมอบอย่างรวดเร็ว มีปริมาณการจราจรที่ไม่สม่ำเสมอ หรือไม่อยากจัดการ GPU คุณสละสิทธิ์ในการเลือกโมเดลและความสามารถในการปรับแต่งพิเศษ พรอมต์จะถูกส่งไปยังผู้ให้บริการ แม้ว่าจะไม่ถูกนำไปใช้ในการฝึกก็ตาม
หากคุณกำลังพิจารณาเปรียบเทียบกับการทำงานบนฮาร์ดแวร์ของคุณเอง ให้เปรียบเทียบตัวเลขต่อโทเคนข้างต้นกับใบเสนอราคาฮาร์ดแวร์ของคุณ สำหรับข้อมูลพื้นฐานเกี่ยวกับประเภทโมเดล อ่าน โมเดล AI ที่ไม่เซ็นเซอร์คืออะไร ในแง่ของเนื้อหา โมเดลถูกปรับให้ตอบโดยไม่ปฏิเสธสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย โดยมีข้อจำกัดหนึ่งข้อ: ห้ามมีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

