VI ▾

Uncensored Model HubAPI Lưu trữ LLM: Những gì bạn nhận được và những gì bạn bỏ qua

API Lưu trữ LLM: Những gì bạn nhận được và những gì bạn bỏ qua

API lưu trữ LLM nghĩa là người khác sở hữu GPU, tải mô hình và giữ máy chủ chạy, và bạn gửi các yêu cầu HTTP. Bạn trả tiền theo token và bỏ qua cơ sở hạ tầng. Trang này liệt kê những gì được xử lý cho bạn, những gì vẫn thuộc về bạn, và yêu cầu đầu tiên bằng ba ngôn ngữ.

Cập nhật

Máy chủ lưu trữ được kết nối bằng một cáp phát sáng với máy tính xách tay, đại diện cho API LLM được lưu trữ
Các mắt xích kính nối các khối mô-đun với khối máy chủ, minh họa LangChain với API mô hình trọng số mở

Điểm chính

  1. Việc lưu trữ bao gồm GPU, tải mô hình, xử lý theo lô, mở rộng và endpoint HTTP; bạn cung cấp prompt và khóa.
  2. Giao diện tương thích OpenAI: thay đổi base URL thành https://api.uncensoredmodelhub.com/v1 và sử dụng mô hình uncensored.
  3. Truyền phát, gọi hàm và chế độ JSON được hỗ trợ; không có endpoint ảnh, âm thanh, nhúng hoặc tinh chỉnh.
  4. Giới hạn cần lưu ý: 100.000 token của cửa sổ ngữ cảnh, 8 yêu cầu đồng thời và 300 mỗi phút trên khóa đầy đủ.

Những gì việc lưu trữ xử lý cho bạn

Chạy một mô hình ngôn ngữ trong sản xuất liên quan đến nhiều hơn việc tải trọng lượng. Một API được lưu trữ đảm nhận những điều sau để mã của bạn không phải lo lắng:

Do nhà lưu trữ xử lýVẫn thuộc về bạn
GPU, trình điều khiển và máy chủ suy luậnViết và kiểm tra prompt của bạn
Tải mô hình và giữ nó sẵn sàngChọn temperature, max_tokens và các cài đặt khác
Ghép nhiều yêu cầu lại với nhauLogic thử lại cho phản hồi 429
Xác thực và giới hạn tốc độGiữ bí mật khóa API của bạn
Đo lường và số dư trả trướcTheo dõi chi tiêu của bạn
Cập nhật phần mềm ở phía phục vụXử lý đầu ra của mô hình trong ứng dụng của bạn

Dịch vụ ở đây là một API chat tương thích OpenAI phục vụ một mô hình trọng số mở, do một nhà cung cấp độc lập chạy. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và không phải là bộ định tuyến qua nhiều mô hình. Chỉ văn bản: không tạo ảnh, âm thanh hoặc video, không có embedding và không có fine-tuning.

Yêu cầu đầu tiên của bạn

Tạo tài khoản với Google hoặc email và mật khẩu, sau đó sao chép khóa từ trang khóa API. Nhận dùng thử một lần nhấp thêm $0,50 tín dụng, hợp lệ trong 7 ngày, không cần thẻ.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

Các endpoint tương tự cũng bao gồm POST /v1/responses và GET /v1/models. tài liệu liệt kê các tham số.

Truyền phát, công cụ và chế độ JSON

Hầu hết những gì nhà phát triển sử dụng từ một API chat đều có sẵn.

  • Truyền phát. Đặt stream: true để nhận sự kiện gửi từ máy chủ khi token được tạo; việc sử dụng được báo cáo ở cuối. Giao diện người dùng chat phụ thuộc vào điều này.
  • Gọi hàm. Truyền tools và tool_choice, đọc tool_calls từ phản hồi (chúng cũng được truyền phát), rồi trả về kết quả dưới dạng các thông báo với role: "tool".
  • Chế độ JSON. response_format: {"type":"json_object"} khiến mô hình trả về một đối tượng JSON, hữu ích cho trích xuất và phân loại.
  • Kiểm soát lấy mẫu. temperature, top_p, stop, seed và các hình phạt được chuyển tiếp.

Một lệnh gọi streaming trong Python trông như thế này:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Các thư viện đã hỗ trợ định dạng OpenAI, như LangChain, hoạt động bằng cách thay đổi base URL; trang của chúng tôi về LangChain với mô hình mã nguồn mở hiển thị một ví dụ.

Giới hạn và cách xử lý chúng

Hosting được chia sẻ, vì vậy có các giới hạn. Biết chúng trước khi bạn xây dựng một vòng lặp xung quanh API.

  • Ngữ cảnh: 100.000 token, prompt cộng với kết quả hoàn thành. Kết quả hoàn thành có thể sử dụng bất cứ thứ gì prompt để lại chưa dùng, và max_tokens là tùy chọn.
  • Độ đồng thời và tốc độ: một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút; một khóa dùng thử cho phép 2 và 60. Một yêu cầu streaming giữ vị trí của nó cho đến khi stream kết thúc.
  • Kích thước thân: 8 MB mỗi yêu cầu.
  • Phản hồi 429: mã lỗi là rate_limited cho các yêu cầu mỗi phút, concurrency cho quá nhiều cùng lúc, và tiêu đề Retry-After: 5 xuất hiện khi quá tải tạm thời.

Một lệnh thử lại đơn giản chờ đợi và thử lại là đủ trong hầu hết các ứng dụng. Nếu một yêu cầu thất bại vì prompt quá dài, trang về lỗi vượt quá cửa sổ ngữ cảnh bao gồm các sửa chữa như tóm tắt hoặc cắt ngắn lịch sử.

Tiêu đề phản hồi giúp theo dõi: X-Request-Id để trích dẫn trong vé hỗ trợ, X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency cho giới hạn của bạn, và X-Balance-USD cho số dư còn lại.

Di chuyển ứng dụng hiện có sang

Nếu mã của bạn đã sử dụng máy khách OpenAI, bạn hiếm khi cần viết lại nó. Các SDK chính thức đọc hai biến môi trường, vì vậy việc chuyển đổi có thể xảy ra bên ngoài mã:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

Sau đó đặt tên mô hình thành uncensored bất cứ nơi nào mã của bạn đặt tên một mô hình. Ba điều đáng kiểm tra trước khi bạn đi vào sản xuất:

  • Tính năng bạn dựa vào. Chat, streaming, công cụ và chế độ JSON hoạt động. Các lệnh gọi đến embedding, ảnh hoặc endpoint âm thanh sẽ không hoạt động, vì đây là dịch vụ chỉ văn bản.
  • Độ dài prompt. Bất cứ thứ gì trên 100.000 token tổng cộng phải được cắt hoặc tóm tắt trước.
  • Độ đồng thời. Nếu ứng dụng của bạn có thể bắn nhiều hơn 8 yêu cầu cùng một lúc, hãy đặt một hàng đợi hoặc semaphore phía trước máy khách để bạn không kích hoạt lỗi 429 trên các đỉnh.

Giữ khóa trên máy chủ. Không bao giờ gửi nó trong mã trình duyệt hoặc ứng dụng di động, vì bất kỳ ai trích xuất nó đều có thể tiêu tốn số dư của bạn. Lưu trữ nó trong biến môi trường hoặc bộ quản lý bí mật, và xoay nó nếu nó bị rò rỉ.

Chi phí và thanh toán

Thanh toán theo token: $0,15 cho mỗi 1M đầu vào và $0,50 cho mỗi 1M đầu ra. Tín dụng là trả trước và không hết hạn, và không có đăng ký. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.

Một ví dụ nhanh. Một yêu cầu với 2.000 token đầu vào và 500 token đầu ra tốn 2.000 × $0,15 / 1M + 500 × $0,50 / 1M = $0,0003 + $0,00025 = $0,00055. Đó là 1.818 yêu cầu như vậy mỗi đô la. Nạp tiền là bất kỳ số nguyên nào từ $20 đến $500, bằng tiền mã hóa (USDT trên TRC20, USDC trên Base), với +5% bonus từ $50, +10% từ $100 và +15% từ $200. Xem trang giá cả.

Để kiểm tra số dư của bạn trong mã, gọi GET /v1/balance hoặc GET /v1/dashboard/billing/credit_grants kiểu OpenAI, hoặc đọc X-Balance-USD từ bất kỳ phản hồi nào.

Được lưu trữ hoặc tự chạy: một kiểm tra nhanh

Một API được lưu trữ phù hợp khi bạn muốn giao hàng nhanh, có lưu lượng không đều, hoặc không muốn vận hành GPU. Bạn từ bỏ lựa chọn mô hình và khả năng fine-tune. Prompt được gửi đến nhà cung cấp, mặc dù chúng không được sử dụng để đào tạo.

Nếu bạn đang cân nhắc so sánh với việc tự vận hành phần cứng của mình, hãy đối chiếu các chi phí trên mỗi token ở trên với chi phí phần cứng của bạn. Để hiểu rõ hơn về loại mô hình, hãy đọc mô hình AI không kiểm duyệt là gì. Về mặt nội dung, mô hình được tinh chỉnh để trả lời mà không từ chối trong các trường hợp hợp pháp dành cho người lớn, với một giới hạn cứng: cấm mọi nội dung tình dục liên quan đến người chưa thành niên.

Hỏi đáp

API LLM hosting là gì?

Một dịch vụ chạy mô hình ngôn ngữ trên GPU của riêng nó và cung cấp qua HTTP. Bạn gửi prompt và trả tiền theo token mà không cần quản lý máy chủ.

Có tương thích với SDK OpenAI không?

Có. Đặt base URL thành https://api.uncensoredmodelhub.com/v1, sử dụng khóa của bạn và model ID uncensored.

Giới hạn tốc độ là gì?

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Một khóa dùng thử cho phép 2 và 60. Khi vượt quá giới hạn, bạn sẽ nhận được HTTP 429.

Tôi có thể fine-tune hoặc tạo ảnh không?

Không. Đây là API chỉ xử lý văn bản, không hỗ trợ fine-tuning, embeddings hay tạo ảnh, âm thanh và video.

Khóa của bạn chỉ còn một bước nữa là xong

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API