Những gì việc lưu trữ xử lý cho bạn
Chạy một mô hình ngôn ngữ trong sản xuất liên quan đến nhiều hơn việc tải trọng lượng. Một API được lưu trữ đảm nhận những điều sau để mã của bạn không phải lo lắng:
| Do nhà lưu trữ xử lý | Vẫn thuộc về bạn |
|---|---|
| GPU, trình điều khiển và máy chủ suy luận | Viết và kiểm tra prompt của bạn |
| Tải mô hình và giữ nó sẵn sàng | Chọn temperature, max_tokens và các cài đặt khác |
| Ghép nhiều yêu cầu lại với nhau | Logic thử lại cho phản hồi 429 |
| Xác thực và giới hạn tốc độ | Giữ bí mật khóa API của bạn |
| Đo lường và số dư trả trước | Theo dõi chi tiêu của bạn |
| Cập nhật phần mềm ở phía phục vụ | Xử lý đầu ra của mô hình trong ứng dụng của bạn |
Dịch vụ ở đây là một API chat tương thích OpenAI phục vụ một mô hình trọng số mở, do một nhà cung cấp độc lập chạy. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và không phải là bộ định tuyến qua nhiều mô hình. Chỉ văn bản: không tạo ảnh, âm thanh hoặc video, không có embedding và không có fine-tuning.
Yêu cầu đầu tiên của bạn
Tạo tài khoản với Google hoặc email và mật khẩu, sau đó sao chép khóa từ trang khóa API. Nhận dùng thử một lần nhấp thêm $0,50 tín dụng, hợp lệ trong 7 ngày, không cần thẻ.
curl
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
}'
Python
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredmodelhub.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);
Các endpoint tương tự cũng bao gồm POST /v1/responses và GET /v1/models. tài liệu liệt kê các tham số.
Truyền phát, công cụ và chế độ JSON
Hầu hết những gì nhà phát triển sử dụng từ một API chat đều có sẵn.
- Truyền phát. Đặt
stream: trueđể nhận sự kiện gửi từ máy chủ khi token được tạo; việc sử dụng được báo cáo ở cuối. Giao diện người dùng chat phụ thuộc vào điều này. - Gọi hàm. Truyền
toolsvàtool_choice, đọctool_callstừ phản hồi (chúng cũng được truyền phát), rồi trả về kết quả dưới dạng các thông báo vớirole: "tool". - Chế độ JSON.
response_format: {"type":"json_object"}khiến mô hình trả về một đối tượng JSON, hữu ích cho trích xuất và phân loại. - Kiểm soát lấy mẫu. temperature, top_p, stop, seed và các hình phạt được chuyển tiếp.
Một lệnh gọi streaming trong Python trông như thế này:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Các thư viện đã hỗ trợ định dạng OpenAI, như LangChain, hoạt động bằng cách thay đổi base URL; trang của chúng tôi về LangChain với mô hình mã nguồn mở hiển thị một ví dụ.
Giới hạn và cách xử lý chúng
Hosting được chia sẻ, vì vậy có các giới hạn. Biết chúng trước khi bạn xây dựng một vòng lặp xung quanh API.
- Ngữ cảnh: 100.000 token, prompt cộng với kết quả hoàn thành. Kết quả hoàn thành có thể sử dụng bất cứ thứ gì prompt để lại chưa dùng, và
max_tokenslà tùy chọn. - Độ đồng thời và tốc độ: một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút; một khóa dùng thử cho phép 2 và 60. Một yêu cầu streaming giữ vị trí của nó cho đến khi stream kết thúc.
- Kích thước thân: 8 MB mỗi yêu cầu.
- Phản hồi 429: mã lỗi là
rate_limitedcho các yêu cầu mỗi phút,concurrencycho quá nhiều cùng lúc, và tiêu đềRetry-After: 5xuất hiện khi quá tải tạm thời.
Một lệnh thử lại đơn giản chờ đợi và thử lại là đủ trong hầu hết các ứng dụng. Nếu một yêu cầu thất bại vì prompt quá dài, trang về lỗi vượt quá cửa sổ ngữ cảnh bao gồm các sửa chữa như tóm tắt hoặc cắt ngắn lịch sử.
Tiêu đề phản hồi giúp theo dõi: X-Request-Id để trích dẫn trong vé hỗ trợ, X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency cho giới hạn của bạn, và X-Balance-USD cho số dư còn lại.
Di chuyển ứng dụng hiện có sang
Nếu mã của bạn đã sử dụng máy khách OpenAI, bạn hiếm khi cần viết lại nó. Các SDK chính thức đọc hai biến môi trường, vì vậy việc chuyển đổi có thể xảy ra bên ngoài mã:
export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"
Sau đó đặt tên mô hình thành uncensored bất cứ nơi nào mã của bạn đặt tên một mô hình. Ba điều đáng kiểm tra trước khi bạn đi vào sản xuất:
- Tính năng bạn dựa vào. Chat, streaming, công cụ và chế độ JSON hoạt động. Các lệnh gọi đến embedding, ảnh hoặc endpoint âm thanh sẽ không hoạt động, vì đây là dịch vụ chỉ văn bản.
- Độ dài prompt. Bất cứ thứ gì trên 100.000 token tổng cộng phải được cắt hoặc tóm tắt trước.
- Độ đồng thời. Nếu ứng dụng của bạn có thể bắn nhiều hơn 8 yêu cầu cùng một lúc, hãy đặt một hàng đợi hoặc semaphore phía trước máy khách để bạn không kích hoạt lỗi 429 trên các đỉnh.
Giữ khóa trên máy chủ. Không bao giờ gửi nó trong mã trình duyệt hoặc ứng dụng di động, vì bất kỳ ai trích xuất nó đều có thể tiêu tốn số dư của bạn. Lưu trữ nó trong biến môi trường hoặc bộ quản lý bí mật, và xoay nó nếu nó bị rò rỉ.
Chi phí và thanh toán
Thanh toán theo token: $0,15 cho mỗi 1M đầu vào và $0,50 cho mỗi 1M đầu ra. Tín dụng là trả trước và không hết hạn, và không có đăng ký. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.
Một ví dụ nhanh. Một yêu cầu với 2.000 token đầu vào và 500 token đầu ra tốn 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Đó là 1.818 yêu cầu như vậy mỗi đô la. Nạp tiền là bất kỳ số nguyên nào từ $20 đến $500, bằng tiền mã hóa (USDT trên TRC20, USDC trên Base), với +5% bonus từ $50, +10% từ $100 và +15% từ $200. Xem trang giá cả.
Để kiểm tra số dư của bạn trong mã, gọi GET /v1/balance hoặc GET /v1/dashboard/billing/credit_grants kiểu OpenAI, hoặc đọc X-Balance-USD từ bất kỳ phản hồi nào.
Được lưu trữ hoặc tự chạy: một kiểm tra nhanh
Một API được lưu trữ phù hợp khi bạn muốn giao hàng nhanh, có lưu lượng không đều, hoặc không muốn vận hành GPU. Bạn từ bỏ lựa chọn mô hình và khả năng fine-tune. Prompt được gửi đến nhà cung cấp, mặc dù chúng không được sử dụng để đào tạo.
Nếu bạn đang cân nhắc so sánh với việc tự vận hành phần cứng của mình, hãy đối chiếu các chi phí trên mỗi token ở trên với chi phí phần cứng của bạn. Để hiểu rõ hơn về loại mô hình, hãy đọc mô hình AI không kiểm duyệt là gì. Về mặt nội dung, mô hình được tinh chỉnh để trả lời mà không từ chối trong các trường hợp hợp pháp dành cho người lớn, với một giới hạn cứng: cấm mọi nội dung tình dục liên quan đến người chưa thành niên.

