简短回答
对大多数个人和小团队而言,API 在流量高且持续之前更便宜。在自托管 LLM 与 API 的决策中,决定变量是利用率:你全天候付费的 GPU,无论服务一百万 token 还是十个 token,成本都一样。按 token 计费的 API 只为实际使用的 token 付费。
当你需要微调、数据不能离开网络、必须运行特定模型,或者拥有稳定的大量流量且有人操作机器时,自托管是合理的。当你希望下午就能运行、使用量不均匀,或者由一个人处理所有事务时,API 是合理的。
本文的其余部分提供了你可以复现的数据。它没有引用硬件或云价格的报价单,因为这些价格会变动;你需要将你自己的报价代入公式。
模型实际需要的硬件
主要限制是 GPU 显存。仅权重就需要约 parameters × bytes per parameter:
| 模型大小 | 16-bit(2 字节) | 8-bit(1 字节) | 4-bit(0.5 字节) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
这是底线。你还需要用于注意力缓存的内存,它随上下文长度和并发请求数增长,加上运行时开销。同时向多个用户提供服务 100,000 token 上下文所需的内存可能远超权重,且数字取决于模型的架构。较小的量化模型可在单个消费级 GPU 上运行;较大的模型需要多个 GPU 或租赁节点,以及 vLLM 或 llama.cpp 等推理服务器来批量处理请求。
量化到 4-bit 可以节省内存,但会牺牲一定的质量,且损失因模型和任务而异。你需要在自己的提示词上测试它。
硬件报价中未包含的工作
硬件是可见成本。不太可见的部分是运维:
- 设置。 驱动、CUDA 版本、推理服务器、OpenAI 兼容层、认证和反向代理。首个能跑通的配置通常需要一天或更长时间;生产环境则需要更长时间。
- 调优。 批大小、上下文限制、内存设置和采样默认值决定了你是服务 2 个用户还是 20 个。
- 更新。 新模型版本、安全补丁和推理服务器发布定期到来,有时会引发故障。
- 监控。 必须有人去留意 GPU 在夜间内存耗尽的情况。
- 空闲时间。 闲置的机器仍然消耗电力或租金。
为你的时间设定每小时价值,并加上每月大约四到八小时的维护时间。对于小型部署,这个数字通常超过电费。
相同流量下 API 的成本
此 API 收取 $0.15/百万输入 token 和 $0.50/百万输出 token 的费用,从永不过期的预付额度中扣除。没有订阅费,失败或被拒绝的请求不收费。按月的工作示例:
| 每月 token(输入 / 输出) | 输入成本 | 输出成本 | 总计 |
|---|---|---|---|
| 20M / 5M | $3.00 | $2.50 | $5.50 |
| 100M / 20M | $15.00 | $10.00 | $25.00 |
| 1,000M / 200M | $150.00 | $100.00 | $250.00 |
对于输入输出比例为 5:1 的情况,6M token 的成本为 5 × $0.15 + 1 × $0.50 = $1.25,即混合后每百万 token 约 $0.21。你的比例会有所不同,因此请用你自己的平均值重新计算。请参阅 定价页面 了解充值金额和优惠。
找到你的盈亏平衡点
计算你自托管每月需支付的总费用:硬件成本除以你使用它的月数,或租赁费;电力;以及你维护工时的价值。称总费用为 F。然后:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
每月 $100 的固定成本相当于在该比例下 API 的约 480M token。如果你的实际流量远低于盈亏平衡数值(这对大多数副项目、内部工具和小产品都是如此),API 更便宜。如果流量远高于且恒定,拥有机器可能更胜一筹。请使用当前数字检查该比较,因为双方都在变化。
请记住,自托管容量也是一个上限。一台机器同时只能处理有限数量的请求。在此处使用完整密钥,允许 8 个并发请求和每分钟 300 个请求,其背后的容量无需你操心。
使用托管 API 你放弃了什么
API 不是免费午餐,一些限制值得明确说明。
- 单一模型。此服务运行来自独立提供商的单个开放权重模型,模型 ID 为
uncensored。你无法替换它或加载自己的权重。 - 仅文本:无图像、音频、视频或嵌入,无微调。
- 100,000 token 的上下文窗口,包括提示词和补全。
- 你的提示词会离开你的网络。它们不会用于训练,但如果策略要求本地处理,自托管是解决方案。
作为回报,你可以通过标准的 OpenAI 接口获得流式输出、工具调用和 JSON 模式,因此现有代码只需更改 Base URL 即可工作。框架也能提供帮助;我们关于 在 LangChain 中使用开源模型 的说明展示了如何将其指向这样的接口。
一种便宜的决策方式
不要为了确定是否需要硬件而购买硬件。先通过 API 运行你的实际工作负载,测量每月的 token 用量,然后再与托管报价进行比较。在 API 密钥页面 上提供价值 $0.50 的一次点击试用,调用方式与通常的 OpenAI 调用相同:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
响应包含一个使用量对象和一个 X-Balance-USD 标头,因此一周的正常使用情况会给你一个真实的月度数据。如果该数据接近盈亏平衡点,你就有了决策依据。设置详情见 文档。关于所涉模型类型的背景,请参阅 无审查 AI 模型是什么。

