VI ▾

Uncensored Model HubCác mô hình nguồn mở LangChain qua API không kiểm duyệt

Các mô hình nguồn mở LangChain qua API không kiểm duyệt

LangChain hoạt động với các mô hình nguồn mở thông qua bất kỳ máy chủ tương thích OpenAI nào, và API được lưu trữ sẽ giúp bạn tiết kiệm chi phí chạy GPU. Dưới đây là hướng dẫn thiết lập trong Python và Node, bao gồm công cụ, agent, đầu ra JSON, truyền phát và kế hoạch xử lý đồng thời.

Cập nhật

Các mắt xích kính nối các khối mô-đun với khối máy chủ, minh họa LangChain với API mô hình trọng số mở

Điểm chính

  1. Sử dụng ChatOpenAI với base_url được đặt thành https://api.uncensoredmodelhub.com/v1 và mô hình uncensored.
  2. Gọi công cụ, chế độ JSON và truyền phát đều hoạt động thông qua các giao diện LangChain tiêu chuẩn.
  3. Giới hạn max_concurrency ở mức 8 với khóa đầy đủ, 2 với khóa dùng thử để tránh lỗi 429.
  4. Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, không có gói đăng ký.

Kết nối LangChain trong bốn dòng

Nếu bạn muốn sử dụng các mô hình nguồn mở LangChain mà không cần tự lưu trữ, đường đi ngắn nhất là sử dụng API tương thích OpenAI. Lớp chat OpenAI của LangChain không quan tâm ai là bên trả lời, miễn là endpoint tuân thủ cùng giao thức. Bạn chỉ cần thay đổi base_url và khóa, còn các chuỗi, prompt và agent của bạn vẫn giữ nguyên.

Dịch vụ này lưu trữ một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung, phù hợp cho người trưởng thành sử dụng hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và cũng không phải là bộ định tuyến giữa các nhà cung cấp. Hãy cài đặt gói và tạo đối tượng mô hình:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Đó là toàn bộ phần kết nối. Trong các dự án thực tế, hãy giữ khóa trong biến môi trường và đọc nó bằng os.environ thay vì ghi trực tiếp vào tệp. Nếu bạn chưa có khóa, trang khóa sẽ hướng dẫn cách đăng ký và nhận $0,50 tín dụng dùng thử mà không cần thẻ.

Node.js và LangChain.js

Gói JavaScript tuân theo cùng nguyên tắc, với base_url được truyền qua một đối tượng cấu hình.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

Nếu bạn thấy lỗi 404 hoặc một trang HTML trong thông báo lỗi, thường là do base_url không chính xác. Nó phải kết thúc bằng /v1. Hai endpoint ẩn bên trong là POST /v1/chat/completions và GET /v1/models, và không cần gì thêm cho mô hình chat của LangChain.

Mô hình nguồn mở trong LangChain nên được lưu trữ từ xa hay chạy cục bộ?

LangChain cũng có thể chạy các mô hình mở trên máy của bạn, ví dụ thông qua Ollama hoặc máy chủ cục bộ. Hướng đi này có những lợi thế thực sự, và thừa nhận điều đó mới là trung thực. Mô hình cục bộ không mất phí trên mỗi token, hoạt động ngoại tuyến và giữ mọi byte trên phần cứng của bạn. Cái giá phải trả là phần cứng: bạn cần đủ bộ nhớ GPU cho mô hình bạn chọn, bạn phải duy trì môi trường chạy, và thông lượng bị giới hạn bởi máy của bạn.

Câu hỏiMáy chủ cục bộAPI được lưu trữ này
Chi phí ban đầuPhần cứng hoặc GPU thuê ngoàiKhông; tín dụng trả trước từ $20
Chi phí trên mỗi tokenKhông, nhưng tiêu thụ điện và hao mòn phần cứng$0,15 cho mỗi 1M đầu vào, $0,50 cho mỗi 1M đầu ra
Cửa sổ ngữ cảnhTùy thuộc vào bộ nhớ bạn có100.000 token
Yêu cầu đồng thờiTùy thuộc vào thiết lập của bạn8 với khóa đầy đủ
Vị trí dữ liệuMáy của bạnLưu trữ; prompt không được dùng để huấn luyện

Một mẫu phổ biến là thử nghiệm với endpoint lưu trữ trước, sau đó quyết định dựa trên số lượng token thực tế xem triển khai cục bộ có hợp lý không. Vì cả hai bên đều sử dụng giao thức OpenAI, việc chuyển đổi chỉ là thay đổi một dòng base_url, và các chuỗi bạn đã xây dựng vẫn giữ nguyên. Trang về mô hình không kiểm duyệt là gì giải thích những thay đổi về hành vi do tinh chỉnh.

Công cụ và một agent đơn giản

Gọi công cụ đi qua trường tools kiểu OpenAI tiêu chuẩn, và bind_tools của LangChain sẽ xây dựng trường đó cho bạn từ một hàm Python được trang trí. Mô hình trả về các yêu cầu gọi công cụ, và kết quả quay lại dưới dạng tin nhắn role: "tool".

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

Vòng lặp agent gọi mô hình, chạy công cụ khi được yêu cầu và gửi kết quả trở lại cho đến khi mô hình trả lời bằng văn bản thuần. Có hai lưu ý quan trọng. Hãy cung cấp docstring cho mọi công cụ được viết cho mô hình, vì đó là văn bản mà mô hình đọc để chọn công cụ. Và đặt giới hạn đệ quy trên agent để một lần chạy bị nhầm lẫn không thể tiếp tục tiêu tốn tín dụng; LangGraph chấp nhận recursion_limit trong cấu hình.

Để kiểm soát trực tiếp mà không cần agent, hãy dùng llm.bind_tools([word_count]) và tự kiểm tra .tool_calls trên tin nhắn trả về.

Đầu ra có cấu trúc với chế độ JSON

Đối với các tác vụ trích xuất, hãy truyền tham số chế độ JSON qua bind. Prompt phải nói cho mô hình biết bạn muốn các khóa nào, vì chế độ JSON chỉ ép nó tạo ra một đối tượng JSON hợp lệ.

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

Hãy kiểm tra kết quả bằng Pydantic hoặc kiểm tra khóa cơ bản trước khi sử dụng. Chế độ này không thực thi lược đồ, nên một trường bị thiếu là có thể xảy ra, và một lần thử lại với prompt rõ ràng hơn thường sẽ khắc phục được.

Truyền phát và xử lý đồng thời

Truyền phát chạy qua các sự kiện do máy chủ gửi (SSE) và hoạt động với phương thức stream tiêu chuẩn. Việc sử dụng được gửi vào cuối luồng.

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

Khi bạn xử lý nhiều mục, batch sẽ chạy chúng song song, và đây là nơi các giới hạn trở nên quan trọng. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. Một yêu cầu truyền phát giữ slot của nó cho đến khi luồng kết thúc. Hãy truyền một giới hạn để LangChain không vượt quá những gì khóa của bạn cho phép:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

Nếu bạn vẫn thấy HTTP 429, mã lỗi cho bạn biết giới hạn nào bạn đã chạm tới: rate_limited cho số yêu cầu mỗi phút, concurrency cho quá nhiều yêu cầu cùng lúc. Mã 429 kèm tiêu đề Retry-After: 5 đánh dấu quá tải tạm thời. ChatOpenAI có tùy chọn max_retries để thử lại các lỗi như vậy với độ trễ tăng dần; hãy đặt nó thành 3 hoặc 4 cho các tác vụ batch.

Chuỗi truy xuất không có endpoint embedding

API này chỉ bao gồm tạo văn bản, nên một chuỗi truy xuất cần hai nhà cung cấp: một cho embedding và một cho bước chat. LangChain giúp việc này dễ dàng vì kho vector và mô hình chat là các đối tượng riêng biệt. Hãy dùng bất kỳ mô hình embedding nào bạn thích, từ thư viện cục bộ hoặc dịch vụ khác, để lập chỉ mục tài liệu của bạn. Sau đó, truyền văn bản đã truy xuất vào mô hình chat thông qua prompt.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

Ở đây top_chunks là bất kỳ thứ gì bộ truy xuất của bạn đã trả về. Hãy giữ nó ở mức vài đoạn văn bản quan trọng nhất. Bốn chunk 300 token cộng lại 1.200 token mỗi lần gọi, điều này ổn, nhưng bốn mươi chunk cộng lại 12.000 token và làm mỗi yêu cầu nặng hơn gấp mười lần.

Danh sách kiểm tra khắc phục sự cố

  • Lỗi xác thực: hãy xác nhận khóa nằm trong api_key, không phải tham số khác, và không có biến môi trường OPENAI_API_KEY nào đang ghi đè ngầm những gì bạn định truyền.
  • Không tìm thấy mô hình: ID mô hình chính xác là uncensored. Gọi GET /v1/models để xem máy chủ liệt kê những gì.
  • Đối số công cụ kỳ lạ: hãy đọc chuỗi đối số thô, siết chặt mô tả công cụ và giảm nhiệt độ xuống khoảng 0,2 cho các lần chạy agent.
  • Theo dõi và gỡ lỗi: hãy bật chế độ verbose hoặc debug của LangChain cục bộ để xem từng prompt được gửi đi và mỗi phản hồi nhận lại.
  • Các bài kiểm tra có thể lặp lại: hãy truyền seed và nhiệt độ thấp khi bạn so sánh các phiên bản prompt, để sự khác biệt đến từ thay đổi của bạn chứ không phải do may mắn lấy mẫu.

Chi phí cho tác vụ LangChain

Tính phí theo token từ tín dụng trả trước. Không có gói đăng ký, các yêu cầu thất bại hoặc bị từ chối không bị tính phí, và tín dụng không bao giờ hết hạn. Số tiền nạp là một số nguyên bất kỳ từ $20 đến $500, bằng tiền mã hóa (USDT trên TRC20, USDC trên Base), với mức thưởng thêm 5% từ $50, 10% từ $100 và 15% từ $200. Trang bảng giá có chi tiết.

Hãy làm theo một ví dụ. Một bot hỗ trợ trả lời 2.000 câu hỏi trong một ngày. Mỗi yêu cầu gửi khoảng 1.500 token (prompt hệ thống, các đoạn được truy xuất, câu hỏi) và trả về khoảng 250 token.

  • Đầu vào: 2.000 x 1.500 = 3.000.000 token, vậy 3 x $0,15 = $0,45.
  • Đầu ra: 2.000 x 250 = 500.000 token, vậy 0,5 x $0,50 = $0,25.
  • Tổng cộng: $0,70 mỗi ngày cho 2.000 câu trả lời, hay $0,00035 mỗi câu.

Các chuỗi truy xuất là nơi chi phí có thể tăng vọt, vì mỗi đoạn được truy xuất thêm đều thêm token đầu vào vào mọi yêu cầu. Hãy ghi lại usage_metadata từ phản hồi, theo dõi kích thước trung bình của prompt, và giảm số lượng đoạn trước khi mở rộng. Tài liệu API liệt kê mọi tham số được hỗ trợ nếu bạn muốn tìm hiểu sâu hơn.

Hỏi đáp

Tôi nên dùng lớp LangChain nào cho API này?

Sử dụng ChatOpenAI từ langchain-openai trong Python hoặc @langchain/openai trong JavaScript. Đặt mô hình thành uncensored và trỏ base_url về https://api.uncensoredmodelhub.com/v1.

API có hỗ trợ agent và gọi công cụ không?

Có. Gọi công cụ sử dụng định dạng tools kiểu OpenAI, nên bind_tools và các agent LangGraph đều hoạt động. Bạn cần tự xác thực đối số của công cụ vì mô hình trả về chúng dưới dạng văn bản.

Cửa sổ ngữ cảnh cho các chuỗi LangChain là bao nhiêu?

100.000 token, dùng chung cho prompt và completion. Bộ nhớ dài và nhiều đoạn được truy xuất làm giảm dung lượng này, vì vậy hãy cắt ngắn lịch sử trong chuỗi của bạn.

Embedding có sẵn cho kho vector của tôi không?

Không. API này chỉ hỗ trợ trò chuyện văn bản, không có embedding, hình ảnh, âm thanh hay fine-tuning. Bạn hãy dùng nhà cung cấp embedding riêng cho bước truy xuất và dùng API này cho bước tạo văn bản.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API