繁中 ▾

Uncensored Model HubLangChain 開放原始碼模型透過無審查 API

LangChain 開放原始碼模型透過無審查 API

LangChain 透過任何 OpenAI 相容伺服器對接開放原始碼模型,而託管式 API 可讓你免去自行運行 GPU 的麻煩。以下是 Python 和 Node 的設定,包含工具、代理程式、JSON 輸出、串流輸出和並行請求計畫。

更新於

玻璃鏈接將模組化區塊連接到伺服器立方體,說明 LangChain 與開放權重模型 API 的應用

重點摘要

  1. 使用 ChatOpenAI,將 base_url 設為 https://api.uncensoredmodelhub.com/v1,並將模型設為 uncensored。
  2. 工具呼叫、JSON 模式和串流輸出均可透過標準 LangChain 介面運作。
  3. 將 max_concurrency 限制為完整金鑰的 8 和試用金鑰的 2,以避免 429 錯誤。
  4. 定價為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,無訂閱費用。

四行程式碼連接 LangChain

如果你想使用 langchain 開放原始碼模型且無需自行託管,最短的路徑是使用 OpenAI 相容 API。LangChain 的 OpenAI 聊天類別不在乎誰來回應,只要端點使用相同的協定即可。你只需更改 base URL 和金鑰,其餘的鏈、提示詞和代理程式都會保持不變。

此服務託管一個開放權重模型,由獨立供應商運行,並針對合法成人用途的無內容拒絕進行調校。它不是任何模型供應商的官方 API,也不是跨供應商的路由器。安裝套件並建立模型物件:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

這就是整個連線。在實際專案中,請將金鑰保留在環境變數中,並使用 os.environ 讀取它,而不是將其寫入檔案。如果你還沒有金鑰,金鑰頁面會說明如何註冊並領取 $0.50 的免費試用額度,且無需信用卡。

Node.js 和 LangChain.js

JavaScript 套件遵循相同的概念,透過設定物件傳遞 base URL。

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

如果你看到 404 或錯誤中的 HTML 頁面,通常是 base URL 有誤。它必須以 /v1 結尾。幕後的兩個端點是 POST /v1/chat/completions 和 GET /v1/models,這對 LangChain 的聊天模型來說已足夠。

LangChain 中的開放原始碼模型是託管式較好還是本地端較好?

LangChain 也能在你的機器上執行開放權重模型,例如透過 Ollama 或本機伺服器。這條路徑有實際的優勢,誠實地說如此。本機模型沒有每 token 費用,離線可用,並將每個位元組保留在你的硬體上。代價是硬體:你需要足夠的 GPU 記憶體來運行你選擇的模型,你需要維護執行環境,且吞吐量受限於你的機器。

問題本地伺服器此託管 API
前期成本硬體或租賃的 GPU無;預付額度從 $20 起
每 token 成本無,但需耗電和硬體磨損輸入每 1M $0.15,輸出每 1M $0.50
上下文視窗取決於你擁有的記憶體100,000 token
並行請求取決於你的設定完整金鑰為 8
資料位置你的機器託管式;提示詞不用於訓練

一個常見的模式是先針對託管端點進行原型設計,然後根據實際 token 計數決定本地端部署是否合理。由於兩端都使用 OpenAI 協定,切換只需更改 base_url 的一行程式碼,而你建立的鏈則保持不變。什麼是無審查模型頁面解釋了調校如何改變行為。

工具和簡單的代理程式

工具呼叫透過標準的 OpenAI 風格 tools 欄位進行,LangChain 的 bind_tools 會從裝飾過的 Python 函式為你建立該欄位。模型會回傳工具呼叫請求,結果則以 role: "tool" 訊息回傳。

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

代理程式迴圈呼叫模型,在要求時執行工具,並將輸出回傳,直到模型以純文字回答為止。有兩個注意事項。為每個工具撰寫供模型閱讀的 docstring,因為這段文字是模型用來選擇工具的依據。並為代理程式設定遞迴限制,以免混亂的執行持續消耗額度;LangGraph 在設定中接受 recursion_limit。

若要直接控制而無需代理程式,請使用 llm.bind_tools([word_count]) 並自行檢查回傳訊息上的 .tool_calls。

使用 JSON 模式的結構化輸出

對於提取作業,請透過 bind 傳遞 JSON 模式參數。提示詞必須告知模型你希望取得的鍵,因為 JSON 模式僅會促使模型產生有效的 JSON 物件。

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

在使用結果之前,請使用 Pydantic 或簡單的鍵檢查來驗證結果。該模式不強制執行 schema,因此可能會缺少欄位,而使用更清晰的提示詞重試通常可以解決。

串流輸出和並行請求

串流輸出透過伺服器發送事件運作,並與標準 stream 方法配合。用量會在串流結束時傳送。

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

當你處理大量項目時,batch 會並行執行它們,這就是限制發揮作用的地方。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個和 60 個。串流請求會保留其槽位直到串流結束。設定上限,讓 LangChain 不會超過你的金鑰允許的範圍:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

如果你仍然看到 HTTP 429,錯誤程式碼會告訴你觸及哪個限制:rate_limited 表示每分鐘請求數,concurrency 表示同時過多。帶有 Retry-After: 5 標頭的 429 表示暫時過載。ChatOpenAI 有 max_retries 選項,可在發生此類錯誤時以退避方式重試;對於批次作業,請將其設為 3 或 4。

沒有嵌入端點的檢索鏈

此 API 僅涵蓋生成,因此檢索鏈需要兩個提供者:一個用於嵌入,一個用於聊天步驟。LangChain 使這變得容易,因為向量儲存庫和聊天模型是分開的物件。使用你喜歡的任何嵌入模型,來自本地庫或其他服務,以索引你的文件。然後透過提示詞將檢索到的文字傳遞給聊天模型。

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

此處 top_chunks 是你的檢索器返回的任何內容。將其限制為少數重要的段落。四個 300 token 的區塊每次呼叫增加 1,200 個 token,這沒問題,但四十個區塊會增加 12,000 個 token,使每次請求變重十倍。

疑難排解檢查清單

  • 驗證錯誤: 確認金鑰位於 api_key 中,而非其他參數,且沒有 OPENAI_API_KEY 環境變數靜默覆蓋你打算傳遞的值。
  • 找不到模型: 模型 ID 正好是 uncensored。呼叫 GET /v1/models 查看伺服器列出的內容。
  • 奇怪的工具參數: 讀取原始參數字串,精簡工具描述,並將代理程式執行的溫度降低到約 0.2。
  • 追蹤和除錯: 在本地開啟 LangChain 的 verbose 或 debug 模式,以查看每個發出的提示詞和每個回傳的回應。
  • 可重複的測試: 傳遞 seed 和低溫度,以便在比較提示詞版本時,差異來自你的更改而非抽樣的運氣。

LangChain 工作負載的成本

計費按 token 從預付額度扣除。沒有訂閱制,失敗或拒絕的請求不會收費,且額度永不過期。儲值金額為 $20 至 $500 的整數,可透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)進行,儲值 $50 贈送 5%,儲值 $100 贈送 10%,儲值 $200 贈送 15%。定價頁面 有詳細資訊。

舉例說明。支援機器人一天回答 2,000 個問題。每個請求發送約 1,500 個 token(系統提示詞、檢索到的片段、問題)並回傳約 250 個 token。

  • 輸入:2,000 x 1,500 = 3,000,000 個 token,所以 3 x $0.15 = $0.45。
  • 輸出:2,000 x 250 = 500,000 個 token,所以 0.5 x $0.50 = $0.25。
  • 總計:每天 $0.70 用於 2,000 個回答,或每個 $0.00035。

檢索鏈是成本可能超支的地方,因為每個額外檢索的區塊都會為每次呼叫增加輸入 token。從回應中記錄 usage_metadata,監控平均提示詞大小,並在擴大規模之前減少區塊數量。API 文件 列出了所有支援的參數,如果你想要進一步了解。

問答

此 API 應使用哪個 LangChain 類別?

在 Python 中使用 langchain-openai 的 ChatOpenAI,或在 JavaScript 中使用 @langchain/openai。將模型設定為 uncensored,並將 base_url 指向 https://api.uncensoredmodelhub.com/v1.

是否支援代理程式與工具呼叫?

支援。工具呼叫採用 OpenAI 風格的工具格式,因此 bind_tools 與 LangGraph 代理程式均可運作。由於模型會以文字形式回傳參數,請自行驗證工具參數。

LangChain 鏈的上下文視窗有多大?

100,000 個 token,由提示詞與完成內容共用。長期的記憶緩衝區與大量檢索區塊會消耗這些 token,因此請在鏈中精簡歷史記錄。

我的向量資料庫是否有可用的嵌入?

沒有。此 API 僅提供文字聊天功能,無嵌入、影像、音訊或微調功能。請使用獨立的嵌入提供者進行檢索,並使用此 API 進行生成步驟。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰