四行代码连接 LangChain
如果你想在不托管任何内容的情况下使用 langchain 开源模型,最短路径是使用 OpenAI 兼容 API。LangChain 的 OpenAI 聊天类不关心响应者是谁,只要接口遵循相同协议即可。你只需更改 base URL 和密钥,其余链、提示词和智能体保持不变。
该服务托管一个开放权重模型,由独立提供商运行,并针对合法成人用途的无内容拒绝回答进行了调整。它不是任何模型厂商的官方 API,也不是跨厂商的路由器。安装包并创建模型对象:
pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
这就是完整的连接方式。在实际项目中,将密钥保存在环境变量中,并使用 os.environ 读取,而不是将其写入文件。如果你还没有密钥,密钥页面 展示了如何注册并领取 $0.50 试用额度,无需绑定银行卡。
Node.js 和 LangChain.js
JavaScript 包遵循相同的思路,通过配置对象传递 base URL。
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.API_KEY,
temperature: 0.7,
configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});
const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);
如果看到 404 错误或 HTML 页面,通常是因为 base URL 设置错误。它必须以 /v1 结尾。后台的两个接口是 POST /v1/chat/completions 和 GET /v1/models,这对 LangChain 聊天模型来说已足够。
LangChain 中的开源模型是托管更好还是本地运行更好?
LangChain 也可以在你自己的机器上运行开放模型,例如通过 Ollama 或本地服务器。这种方式有实际优势,诚实地说确实如此。本地模型没有按 token 计费,支持离线使用,并将所有数据保留在你的硬件上。代价是硬件:你需要足够的 GPU 显存来运行你选择的模型,你需要维护运行时环境,且吞吐量受限于你的机器。
| 问题 | 本地服务器 | 此托管 API |
|---|---|---|
| 前期成本 | 硬件或租赁 GPU | 无;预付额度从 $20 起 |
| 按 token 计费 | 无,但需消耗电力和硬件磨损 | 输入每 1M token $0.15,输出每 1M token $0.50 |
| 上下文窗口 | 取决于你拥有的显存 | 100,000 个 token |
| 并发 | 取决于你的设置 | 完整密钥为 8 |
| 数据存储位置 | 你的机器 | 托管;提示词不用于训练 |
一种常见模式是先针对托管接口进行原型开发,然后根据实际的 token 数量决定是否进行本地部署。由于双方都使用 OpenAI 协议,切换只需更改一行 base_url,你构建的链保持不变。什么是无审查模型 页面解释了微调如何改变行为。
工具和简单智能体
工具调用通过标准的 OpenAI 风格 tools 字段进行,LangChain 的 bind_tools 会根据装饰过的 Python 函数自动构建该字段。模型返回工具调用请求,结果以 role: "tool" 消息形式返回。
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def word_count(text: str) -> int:
'''Count the words in a piece of text.'''
return len(text.split())
agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)
智能体循环调用模型,在需要时运行工具,并将输出发回,直到模型以纯文本形式回答。需注意两点。为每个工具编写面向模型的 docstring,因为这是模型读取以选择工具的依据。并为智能体设置递归限制,以免混乱的运行持续消耗额度;LangGraph 在配置中接受 recursion_limit。
若需直接控制而无需智能体,请使用 llm.bind_tools([word_count]) 并自行检查返回消息中的 .tool_calls。
使用 JSON 模式的结构化输出
对于提取任务,通过 bind 传递 JSON 模式参数。提示词必须告知模型你希望获取的键,因为 JSON 模式仅促使模型生成有效的 JSON 对象。
import json
from langchain_core.prompts import ChatPromptTemplate
json_llm = llm.bind(response_format={"type": "json_object"})
prompt = ChatPromptTemplate.from_messages([
("system", "Return a JSON object with keys title, genre and summary."),
("human", "{idea}"),
])
chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)
在使用前,使用 Pydantic 或简单的键检查来验证结果。该模式不强制执行模式,因此可能出现缺失字段,使用更清晰的提示词重试通常可以解决。
流式输出与并发
流式输出通过服务器发送事件运行,并支持标准 stream 方法。使用情况在流结束时发送。
for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
print(chunk.content, end="", flush=True)
当你处理大量项目时,batch 会并行运行它们,此时限制就很重要了。完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。流式请求会占用其槽位,直到流结束。传入一个上限,以便 LangChain 不会超过密钥允许的范围:
prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})
如果仍然看到 HTTP 429,错误代码会告诉你触发了哪个限制:rate_limited 表示每分钟请求数,concurrency 表示同时请求过多。带有 Retry-After: 5 头的 429 表示临时过载。ChatOpenAI 有 max_retries 选项,可在出现此类错误时进行退避重试;对于批处理任务,将其设置为 3 或 4。
没有嵌入接口的检索链
此 API 仅涵盖生成,因此检索链需要两个提供商:一个用于嵌入,一个用于聊天步骤。LangChain 使这变得容易,因为向量存储和聊天模型是分开的对象。使用你喜欢的任何嵌入模型,无论是本地库还是其他服务,来索引你的文档。然后将检索到的文本通过提示词传递给聊天模型。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
("human", "{question}"),
])
chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})
这里的 top_chunks 是你的检索器返回的内容。保留其中少数几个关键的段落。4 个 300 token 的块每次调用增加 1,200 个 token,这没问题,但 40 个块会增加 12,000 个 token,使每次请求变重十倍。
故障排除清单
- 认证错误: 确认密钥在
api_key中,而不是在其他参数中,并且没有OPENAI_API_KEY环境变量在静默覆盖你打算传递的值。 - 未找到模型: 模型 ID 正好是
uncensored。调用GET /v1/models查看服务器列出的内容。 - 奇怪的工具参数: 读取原始参数字符串,收紧工具描述,并将智能体运行的温度降低到约 0.2。
- 追踪和调试: 在本地启用 LangChain 的 verbose 或 debug 模式,以查看发出的每个提示词和返回的每个回复。
- 可重复测试: 传递
seed和低温度以比较提示词版本,以便差异来自你的更改而非采样运气。
LangChain 工作负载的成本
计费按 token 从预付额度扣除。没有订阅,失败或被拒绝的请求不收费,且额度永不过期。充值金额可以是 $20 到 $500 之间的任意整数金额,支持加密货币(TRC20 上的 USDT、Base 上的 USDC),充值 $50 赠 5%,$100 赠 10%,$200 赠 15%。定价页面 有详细信息。
计算一个示例。一个支持机器人每天回答 2,000 个问题。每个请求发送约 1,500 个 token(系统提示词、检索到的片段、问题)并返回约 250 个 token。
- 输入:2,000 x 1,500 = 3,000,000 tokens,所以 3 x $0.15 = $0.45。
- 输出:2,000 x 250 = 500,000 tokens,所以 0.5 x $0.50 = $0.25。
- 总计:每天 $0.70 用于 2,000 次回答,或每次 $0.00035。
检索链是成本可能漂移的地方,因为每个额外检索的块都会为每次调用增加输入 token。记录响应中的 usage_metadata,观察平均提示词大小,并在扩展之前减少块的数量。API 文档 列出了所有支持的参数,如果你想进一步操作。
