TH ▾

Uncensored Model HubAPI โฮสต์ LLM: สิ่งที่คุณได้และสิ่งที่หลีกเลี่ยง

API โฮสต์ LLM: สิ่งที่คุณได้และสิ่งที่หลีกเลี่ยง

API โฮสต์ LLM หมายถึงบุคคลอื่นเป็นเจ้าของ GPU โหลดโมเดล และดูแลเซิร์ฟเวอร์ให้ โดยคุณส่งคำขอ HTTP คุณจ่ายตามจำนวนโทเคนและไม่ต้องจัดการโครงสร้างพื้นฐาน หน้าเว็บนี้แสดงสิ่งที่จัดการให้คุณ สิ่งที่ยังเป็นหน้าที่ของคุณ และคำขอแรกในสามภาษา

อัปเดต

เซิร์ฟเวอร์แบบแท่งแก้วเชื่อมต่อกับแล็ปท็อปด้วยสายไฟเดียว แทนการโฮสต์ LLM API
โซ่แก้วที่เชื่อมบล็อกโมดูลาร์เข้ากับกล่องเซิร์ฟเวอร์ แสดงภาพ LangChain พร้อม API โมเดลแบบเปิดน้ำหนัก

ประเด็นสำคัญ

  1. การโฮสต์ครอบคลุม GPU, โหลดโมเดล, การจับกลุ่ม, การปรับขนาด และเอนด์พอยต์ HTTP; คุณจัดหาพรอมต์และคีย์
  2. อินเทอร์เฟซเข้ากันได้กับ OpenAI: เปลี่ยน base URL เป็น https://api.uncensoredmodelhub.com/v1 และใช้โมเดล uncensored
  3. รองรับการสตรีมมิง, การเรียกใช้ฟังก์ชัน และโหมด JSON; ไม่มีเอนด์พอยต์สำหรับภาพ, เสียง, embedding หรือการปรับแต่ง
  4. ขีดจำกัดที่ต้องวางแผน: หน้าต่างบริบท 100,000 โทเคน, คำขอพร้อมกัน 8 รายการ และ 300 รายการต่อนาทีสำหรับคีย์แบบเต็ม

สิ่งที่การโฮสต์จัดการให้คุณ

การรันโมเดลภาษาในสภาพแวดล้อมการผลิตมีมากกว่าแค่การดาวน์โหลดน้ำหนัก API ที่โฮสต์จะรับผิดชอบสิ่งต่อไปนี้เพื่อให้โค้ดของคุณไม่ต้องทำ:

จัดการโดยผู้โฮสต์ยังเป็นของคุณ
GPU, ไดรเวอร์ และเซิร์ฟเวอร์อนุมานการเขียนและทดสอบพรอมต์ของคุณ
โหลดโมเดลและรักษาให้โมเดลยังทำงานอยู่ในหน่วยความจำการเลือก temperature, max_tokens และการตั้งค่าอื่นๆ
การรวมคำขอจำนวนมากเข้าด้วยกันตรรกะการลองใหม่สำหรับการตอบกลับ 429
การตรวจสอบสิทธิ์และขีดจำกัดอัตราการเก็บรักษาคีย์ API ของคุณให้ปลอดภัย
การติดตามการใช้บริการและยอดเงินแบบเติมเงินล่วงหน้าการตรวจสอบการใช้จ่ายของคุณ
การอัปเดตซอฟต์แวร์ฝั่งผู้ให้บริการการจัดการผลลัพธ์จากโมเดลในแอปของคุณ

บริการที่นี่คือ API แชทที่เข้ากันได้กับ OpenAI ซึ่งให้บริการโมเดลแบบเปิดน้ำหนักหนึ่งตัว โดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้ให้บริการโมเดลใด ๆ และไม่ใช่ตัวกระจายคำขอข้ามหลายโมเดล รองรับเฉพาะข้อความ: ไม่มีการสร้างภาพ เสียง หรือวิดีโอ ไม่มีการสร้าง embedding และไม่มีการปรับแต่งโมเดล

คำขอครั้งแรกของคุณ

สร้างบัญชีด้วย Google หรืออีเมลและรหัสผ่าน จากนั้นคัดลอกคีย์จากหน้า API key การรับเครดิตทดลองใช้แบบคลิกเดียวที่นั่นจะเพิ่มเครดิต $0.50 ซึ่งใช้ได้เป็นเวลา 7 วัน โดยไม่ต้องใช้บัตร

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

เอนด์พอยต์เดียวกันยังรวมถึง POST /v1/responses และ GET /v1/models เอกสารประกอบ ระบุพารามิเตอร์

สตรีมมิง เครื่องมือ และโหมด JSON

ส่วนใหญ่สิ่งที่นักพัฒนาใช้จาก API แชทมีให้ใช้งาน

  • สตรีมมิง ตั้งค่า stream: true เพื่อรับเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์เมื่อโทเคนถูกสร้าง; การใช้งานจะรายงานที่ส่วนท้าย หน้าจอแชทพึ่งพาสิ่งนี้
  • การเรียกใช้ฟังก์ชัน ส่ง tools และ tool_choice อ่าน tool_calls จากคำตอบ (พวกมันยังสามารถสตรีมได้) และส่งผลลัพธ์กลับเป็นข้อความด้วย role: "tool"
  • โหมด JSON response_format: {"type":"json_object"} ทำให้โมเดลส่งคืนวัตถุ JSON ซึ่งมีประโยชน์สำหรับการดึงข้อมูลและการจำแนกประเภท
  • การควบคุมการสุ่ม temperature, top_p, stop, seed และค่าปรับจะถูกส่งผ่าน

การเรียกสตรีมมิงใน Python มีลักษณะดังนี้:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ไลบรารีที่รองรับรูปแบบ OpenAI อยู่แล้ว เช่น LangChain ทำงานได้โดยการเปลี่ยน base URL; หน้าของเราเกี่ยวกับ LangChain พร้อมโมเดลโอเพนซอร์ส แสดงตัวอย่าง

ขีดจำกัดและการจัดการกับขีดจำกัด

การโฮสต์เป็นแบบแชร์ ดังนั้นจึงมีขีดจำกัด รู้ขีดจำกัดเหล่านี้ก่อนที่คุณจะสร้างลูปรอบ API

  • บริบท: 100,000 โทเคน พรอมต์รวมกับการสร้างข้อความ การสร้างข้อความสามารถใช้โทเคนที่เหลือจากพรอมต์ได้ และ max_tokens เป็นค่าที่ไม่บังคับ
  • คำขอพร้อมกันและอัตรา คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที; คีย์ทดลองใช้อนุญาตให้ทำ 2 และ 60 คำขอ คำขอแบบสตรีมมิงจะถือช่องว่างไว้จนกว่าสตรีมจะสิ้นสุด
  • ขนาดของ body: 8 MB ต่อคำขอ
  • การตอบกลับ 429: รหัสข้อผิดพลาดคือ rate_limited สำหรับคำขอต่อนาที, concurrency สำหรับคำขอที่มากเกินไปในครั้งเดียว และหัวข้อความ Retry-After: 5 จะปรากฏเมื่อระบบมีภาระเกินชั่วคราว

การลองใหม่แบบง่าย ๆ ที่รอและลองอีกครั้งก็เพียงพอสำหรับแอปพลิเคชันส่วนใหญ่ หากคำขอล้มเหลวเนื่องจากพรอมต์ยาวเกินไป หน้า ข้อผิดพลาดหน้าต่างบริบทเกิน จะครอบคลุมวิธีแก้ไข เช่น การสรุปหรือตัดประวัติ

ส่วนหัวของรีสปอนส์ช่วยในการตรวจสอบ: X-Request-Id เพื่ออ้างอิงในตั๋วสนับสนุน, X-RateLimit-Limit-Requests และ X-RateLimit-Limit-Concurrency สำหรับขีดจำกัดของคุณ, และ X-Balance-USD สำหรับยอดคงเหลือที่เหลือ

การย้ายแอปพลิเคชันที่มีอยู่

หากโค้ดของคุณใช้ไคลเอนต์ OpenAI อยู่แล้ว คุณแทบไม่ต้องแก้ไขโค้ดนั้น SDK ทางการอ่านตัวแปรสภาพแวดล้อมสองตัว ดังนั้นการเปลี่ยนจึงเกิดขึ้นนอกโค้ด:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

จากนั้นตั้งชื่อโมเดลเป็น uncensored ทุกครั้งที่โค้ดของคุณระบุชื่อโมเดล มีสามสิ่งที่ควรตรวจสอบก่อนใช้งานจริง:

  • ฟีเจอร์ที่คุณพึ่งพา การแชท สตรีมมิง เครื่องมือ และโหมด JSON ทำงานได้ การเรียกใช้เอนด์พอยต์ embeddings, รูปภาพ หรือเสียงจะไม่ทำงาน เนื่องจากนี่เป็นบริการที่เน้นข้อความเท่านั้น
  • ความยาวของพรอมต์ ข้อมูลใด ๆ ที่มีโทเคนรวมมากกว่า 100,000 โทเคนต้องถูกตัดหรือสรุปก่อน
  • คำขอพร้อมกัน หากแอปของคุณสามารถส่งคำขอมากกว่า 8 คำขอพร้อมกันได้ ให้ใส่คิวหรือเซมาโฟร์ไว้หน้าไคลเอนต์เพื่อไม่ให้เกิดข้อผิดพลาด 429 ในช่วงที่มีการใช้งานสูงสุด

เก็บคีย์ไว้บนเซิร์ฟเวอร์ อย่าส่งคีย์ไปยังโค้ดเบราว์เซอร์หรือแอปมือถือ เพราะใครก็ตามที่ดึงคีย์ไปสามารถใช้ยอดเงินของคุณได้ เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อมหรือผู้จัดการความลับ และเปลี่ยนคีย์หากมีการรั่วไหล

ต้นทุนและการเรียกเก็บเงิน

การเรียกเก็บเงินคิดตามโทเคน: $0.15 ต่อ 1M อินพุต และ $0.50 ต่อ 1M เอาต์พุต เครดิตเป็นแบบเติมเงินล่วงหน้าและไม่หมดอายุ และไม่มีบริการแบบสมาชิก คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

ตัวอย่างด่วน คำขอที่มีอินพุต 2,000 โทเคนและเอาต์พุต 500 โทเคนมีค่าใช้จ่าย 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055 นั่นคือคำขอขนาดนั้น 1,818 คำขอต่อ $1 การเติมเงินเป็นจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 โดยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 ดูหน้า ราคา

เพื่อตรวจสอบยอดเงินในโค้ด ให้เรียกใช้ GET /v1/balance หรือแบบ OpenAI-style GET /v1/dashboard/billing/credit_grants หรืออ่านค่า X-Balance-USD จากรีสปอนส์ใดก็ได้

โฮสต์หรือรันเอง: การตรวจสอบอย่างรวดเร็ว

API ที่โฮสต์เหมาะเมื่อคุณต้องการส่งมอบอย่างรวดเร็ว มีปริมาณการจราจรที่ไม่สม่ำเสมอ หรือไม่อยากจัดการ GPU คุณสละสิทธิ์ในการเลือกโมเดลและความสามารถในการปรับแต่งพิเศษ พรอมต์จะถูกส่งไปยังผู้ให้บริการ แม้ว่าจะไม่ถูกนำไปใช้ในการฝึกก็ตาม

หากคุณกำลังพิจารณาเปรียบเทียบกับการทำงานบนฮาร์ดแวร์ของคุณเอง ให้เปรียบเทียบตัวเลขต่อโทเคนข้างต้นกับใบเสนอราคาฮาร์ดแวร์ของคุณ สำหรับข้อมูลพื้นฐานเกี่ยวกับประเภทโมเดล อ่าน โมเดล AI ที่ไม่เซ็นเซอร์คืออะไร ในแง่ของเนื้อหา โมเดลถูกปรับให้ตอบโดยไม่ปฏิเสธสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย โดยมีข้อจำกัดหนึ่งข้อ: ห้ามมีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

ถาม-ตอบ

LLM hosting API คืออะไร?

บริการที่รันโมเดลภาษาบน GPU ของตัวเองและเปิดใช้งานผ่าน HTTP คุณส่งพรอมต์และจ่ายตามโทเคนโดยไม่ต้องจัดการเซิร์ฟเวอร์

เข้ากันได้กับ SDK ของ OpenAI หรือไม่

ใช่ ตั้งค่า Base URL เป็น https://api.uncensoredmodelhub.com/v1 เพื่อใช้คีย์ API และ model ID uncensored

ขีดจำกัดอัตราคืออะไร?

คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 ครั้งและ 300 ครั้งต่อนาที ส่วนคีย์ทดลองอนุญาตให้ทำ 2 ครั้งและ 60 ครั้งต่อนาที หากเกินขีดจำกัดอัตรา คุณจะได้รับ HTTP 429

ฉันสามารถปรับแต่งหรือสร้างรูปภาพได้หรือไม่

ไม่ เป็น API แบบข้อความเท่านั้น ไม่มีการปรับแต่งโมเดล embedding หรือการสร้างรูปภาพ เสียง หรือวิดีโอ

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API