中文 ▾

Uncensored Model HubLangChain 开源模型,通过无审查 API 接入

LangChain 开源模型,通过无审查 API 接入

LangChain 可通过任何 OpenAI 兼容服务器对接开源模型,托管 API 可让你免去自行运行 GPU 的麻烦。以下是 Python 和 Node 的配置,包含工具、智能体、JSON 输出、流式输出及并发方案。

更新于

玻璃链连接模块化模块与服务器立方体,展示 LangChain 与开放权重模型 API 的结合

要点

  1. 使用 ChatOpenAI,将 base_url 设置为 https://api.uncensoredmodelhub.com/v1,模型设为 uncensored。
  2. 工具调用、JSON 模式和流式输出均可通过标准 LangChain 接口实现。
  3. 将 max_concurrency 限制为全量密钥的 8 和试用密钥的 2,以避免 429 错误。
  4. 定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50,无订阅费用。

四行代码连接 LangChain

如果你想在不托管任何内容的情况下使用 langchain 开源模型,最短路径是使用 OpenAI 兼容 API。LangChain 的 OpenAI 聊天类不关心响应者是谁,只要接口遵循相同协议即可。你只需更改 base URL 和密钥,其余链、提示词和智能体保持不变。

该服务托管一个开放权重模型,由独立提供商运行,并针对合法成人用途的无内容拒绝回答进行了调整。它不是任何模型厂商的官方 API,也不是跨厂商的路由器。安装包并创建模型对象:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

这就是完整的连接方式。在实际项目中,将密钥保存在环境变量中,并使用 os.environ 读取,而不是将其写入文件。如果你还没有密钥,密钥页面 展示了如何注册并领取 $0.50 试用额度,无需绑定银行卡。

Node.js 和 LangChain.js

JavaScript 包遵循相同的思路,通过配置对象传递 base URL。

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

如果看到 404 错误或 HTML 页面,通常是因为 base URL 设置错误。它必须以 /v1 结尾。后台的两个接口是 POST /v1/chat/completions 和 GET /v1/models,这对 LangChain 聊天模型来说已足够。

LangChain 中的开源模型是托管更好还是本地运行更好?

LangChain 也可以在你自己的机器上运行开放模型,例如通过 Ollama 或本地服务器。这种方式有实际优势,诚实地说确实如此。本地模型没有按 token 计费,支持离线使用,并将所有数据保留在你的硬件上。代价是硬件:你需要足够的 GPU 显存来运行你选择的模型,你需要维护运行时环境,且吞吐量受限于你的机器。

问题本地服务器此托管 API
前期成本硬件或租赁 GPU无;预付额度从 $20 起
按 token 计费无,但需消耗电力和硬件磨损输入每 1M token $0.15,输出每 1M token $0.50
上下文窗口取决于你拥有的显存100,000 个 token
并发取决于你的设置完整密钥为 8
数据存储位置你的机器托管;提示词不用于训练

一种常见模式是先针对托管接口进行原型开发,然后根据实际的 token 数量决定是否进行本地部署。由于双方都使用 OpenAI 协议,切换只需更改一行 base_url,你构建的链保持不变。什么是无审查模型 页面解释了微调如何改变行为。

工具和简单智能体

工具调用通过标准的 OpenAI 风格 tools 字段进行,LangChain 的 bind_tools 会根据装饰过的 Python 函数自动构建该字段。模型返回工具调用请求,结果以 role: "tool" 消息形式返回。

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

智能体循环调用模型,在需要时运行工具,并将输出发回,直到模型以纯文本形式回答。需注意两点。为每个工具编写面向模型的 docstring,因为这是模型读取以选择工具的依据。并为智能体设置递归限制,以免混乱的运行持续消耗额度;LangGraph 在配置中接受 recursion_limit。

若需直接控制而无需智能体,请使用 llm.bind_tools([word_count]) 并自行检查返回消息中的 .tool_calls。

使用 JSON 模式的结构化输出

对于提取任务,通过 bind 传递 JSON 模式参数。提示词必须告知模型你希望获取的键,因为 JSON 模式仅促使模型生成有效的 JSON 对象。

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

在使用前,使用 Pydantic 或简单的键检查来验证结果。该模式不强制执行模式,因此可能出现缺失字段,使用更清晰的提示词重试通常可以解决。

流式输出与并发

流式输出通过服务器发送事件运行,并支持标准 stream 方法。使用情况在流结束时发送。

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

当你处理大量项目时,batch 会并行运行它们,此时限制就很重要了。完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。流式请求会占用其槽位,直到流结束。传入一个上限,以便 LangChain 不会超过密钥允许的范围:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

如果仍然看到 HTTP 429,错误代码会告诉你触发了哪个限制:rate_limited 表示每分钟请求数,concurrency 表示同时请求过多。带有 Retry-After: 5 头的 429 表示临时过载。ChatOpenAI 有 max_retries 选项,可在出现此类错误时进行退避重试;对于批处理任务,将其设置为 3 或 4。

没有嵌入接口的检索链

此 API 仅涵盖生成,因此检索链需要两个提供商:一个用于嵌入,一个用于聊天步骤。LangChain 使这变得容易,因为向量存储和聊天模型是分开的对象。使用你喜欢的任何嵌入模型,无论是本地库还是其他服务,来索引你的文档。然后将检索到的文本通过提示词传递给聊天模型。

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

这里的 top_chunks 是你的检索器返回的内容。保留其中少数几个关键的段落。4 个 300 token 的块每次调用增加 1,200 个 token,这没问题,但 40 个块会增加 12,000 个 token,使每次请求变重十倍。

故障排除清单

  • 认证错误: 确认密钥在 api_key 中,而不是在其他参数中,并且没有 OPENAI_API_KEY 环境变量在静默覆盖你打算传递的值。
  • 未找到模型: 模型 ID 正好是 uncensored。调用 GET /v1/models 查看服务器列出的内容。
  • 奇怪的工具参数: 读取原始参数字符串,收紧工具描述,并将智能体运行的温度降低到约 0.2。
  • 追踪和调试: 在本地启用 LangChain 的 verbose 或 debug 模式,以查看发出的每个提示词和返回的每个回复。
  • 可重复测试: 传递 seed 和低温度以比较提示词版本,以便差异来自你的更改而非采样运气。

LangChain 工作负载的成本

计费按 token 从预付额度扣除。没有订阅,失败或被拒绝的请求不收费,且额度永不过期。充值金额可以是 $20 到 $500 之间的任意整数金额,支持加密货币(TRC20 上的 USDT、Base 上的 USDC),充值 $50 赠 5%,$100 赠 10%,$200 赠 15%。定价页面 有详细信息。

计算一个示例。一个支持机器人每天回答 2,000 个问题。每个请求发送约 1,500 个 token(系统提示词、检索到的片段、问题)并返回约 250 个 token。

  • 输入:2,000 x 1,500 = 3,000,000 tokens,所以 3 x $0.15 = $0.45。
  • 输出:2,000 x 250 = 500,000 tokens,所以 0.5 x $0.50 = $0.25。
  • 总计:每天 $0.70 用于 2,000 次回答,或每次 $0.00035。

检索链是成本可能漂移的地方,因为每个额外检索的块都会为每次调用增加输入 token。记录响应中的 usage_metadata,观察平均提示词大小,并在扩展之前减少块的数量。API 文档 列出了所有支持的参数,如果你想进一步操作。

问答

我应该为这个 API 使用哪个 LangChain 类?

在 Python 中使用 langchain-openai 的 ChatOpenAI,或在 JavaScript 中使用 @langchain/openai。将模型设置为 uncensored,并将 base_url 指向 https://api.uncensoredmodelhub.com/v1.

它支持智能体和函数调用吗?

支持。工具调用采用 OpenAI 风格的 tools 格式,因此 bind_tools 和 LangGraph 智能体均可使用。由于模型以文本形式返回参数,你需要自行验证工具参数。

LangChain 链的上下文窗口是多少?

100,000 个 token,由提示词和补全内容共享。长记忆缓冲区和大量检索到的文本块会占用窗口,因此请在链中精简历史记录。

我的向量存储是否有可用的嵌入?

不提供。该 API 仅支持文本对话,不提供嵌入、图像、音频或微调功能。请使用独立的嵌入提供商进行检索,并使用此 API 完成生成步骤。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥