中文 ▾

Uncensored Model Hub自托管 LLM 与 API:成本、投入与盈亏平衡点

自托管 LLM 与 API:成本、投入与盈亏平衡点

自托管 LLM 与 API 的问题主要是算术计算,加上对你自身时间的诚实评估。自行运行模型提供控制和固定账单;API 则零配置,账单随用量变化。以下是如何计算哪种方案对你的用量更划算。

更新于

天平称量服务器机架与云节点及硬币,比较自托管与 API
玻璃链连接模块化模块与服务器立方体,展示 LangChain 与开放权重模型 API 的结合

要点

  1. 模型在 4-bit 量化下每个参数约需 0.5 字节,16-bit 下需 2 字节,这是在缓存和开销之前的数据,因此 70B 模型大约需要 35 GB 到 140 GB 的 GPU 内存。
  2. 输入每 1M token $0.15,输出每 1M token $0.50,每月 100M 输入加 20M 输出 token 的成本为 $25。
  3. 自托管在微调、离线使用和极高稳定流量下占优;API 在低流量或波动流量下占优。
  4. 计算你自己的工时:更新、驱动和监控都是成本的一部分。

简短回答

对大多数个人和小团队而言,API 在流量高且持续之前更便宜。在自托管 LLM 与 API 的决策中,决定变量是利用率:你全天候付费的 GPU,无论服务一百万 token 还是十个 token,成本都一样。按 token 计费的 API 只为实际使用的 token 付费。

当你需要微调、数据不能离开网络、必须运行特定模型,或者拥有稳定的大量流量且有人操作机器时,自托管是合理的。当你希望下午就能运行、使用量不均匀,或者由一个人处理所有事务时,API 是合理的。

本文的其余部分提供了你可以复现的数据。它没有引用硬件或云价格的报价单,因为这些价格会变动;你需要将你自己的报价代入公式。

模型实际需要的硬件

主要限制是 GPU 显存。仅权重就需要约 parameters × bytes per parameter:

模型大小16-bit(2 字节)8-bit(1 字节)4-bit(0.5 字节)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

这是底线。你还需要用于注意力缓存的内存,它随上下文长度和并发请求数增长,加上运行时开销。同时向多个用户提供服务 100,000 token 上下文所需的内存可能远超权重,且数字取决于模型的架构。较小的量化模型可在单个消费级 GPU 上运行;较大的模型需要多个 GPU 或租赁节点,以及 vLLM 或 llama.cpp 等推理服务器来批量处理请求。

量化到 4-bit 可以节省内存,但会牺牲一定的质量,且损失因模型和任务而异。你需要在自己的提示词上测试它。

硬件报价中未包含的工作

硬件是可见成本。不太可见的部分是运维:

  • 设置。 驱动、CUDA 版本、推理服务器、OpenAI 兼容层、认证和反向代理。首个能跑通的配置通常需要一天或更长时间;生产环境则需要更长时间。
  • 调优。 批大小、上下文限制、内存设置和采样默认值决定了你是服务 2 个用户还是 20 个。
  • 更新。 新模型版本、安全补丁和推理服务器发布定期到来,有时会引发故障。
  • 监控。 必须有人去留意 GPU 在夜间内存耗尽的情况。
  • 空闲时间。 闲置的机器仍然消耗电力或租金。

为你的时间设定每小时价值,并加上每月大约四到八小时的维护时间。对于小型部署,这个数字通常超过电费。

相同流量下 API 的成本

此 API 收取 $0.15/百万输入 token 和 $0.50/百万输出 token 的费用,从永不过期的预付额度中扣除。没有订阅费,失败或被拒绝的请求不收费。按月的工作示例:

每月 token(输入 / 输出)输入成本输出成本总计
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

对于输入输出比例为 5:1 的情况,6M token 的成本为 5 × $0.15 + 1 × $0.50 = $1.25,即混合后每百万 token 约 $0.21。你的比例会有所不同,因此请用你自己的平均值重新计算。请参阅 定价页面 了解充值金额和优惠。

找到你的盈亏平衡点

计算你自托管每月需支付的总费用:硬件成本除以你使用它的月数,或租赁费;电力;以及你维护工时的价值。称总费用为 F。然后:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

每月 $100 的固定成本相当于在该比例下 API 的约 480M token。如果你的实际流量远低于盈亏平衡数值(这对大多数副项目、内部工具和小产品都是如此),API 更便宜。如果流量远高于且恒定,拥有机器可能更胜一筹。请使用当前数字检查该比较,因为双方都在变化。

请记住,自托管容量也是一个上限。一台机器同时只能处理有限数量的请求。在此处使用完整密钥,允许 8 个并发请求和每分钟 300 个请求,其背后的容量无需你操心。

使用托管 API 你放弃了什么

API 不是免费午餐,一些限制值得明确说明。

  • 单一模型。此服务运行来自独立提供商的单个开放权重模型,模型 ID 为 uncensored。你无法替换它或加载自己的权重。
  • 仅文本:无图像、音频、视频或嵌入,无微调。
  • 100,000 token 的上下文窗口,包括提示词和补全。
  • 你的提示词会离开你的网络。它们不会用于训练,但如果策略要求本地处理,自托管是解决方案。

作为回报,你可以通过标准的 OpenAI 接口获得流式输出、工具调用和 JSON 模式,因此现有代码只需更改 Base URL 即可工作。框架也能提供帮助;我们关于 在 LangChain 中使用开源模型 的说明展示了如何将其指向这样的接口。

一种便宜的决策方式

不要为了确定是否需要硬件而购买硬件。先通过 API 运行你的实际工作负载,测量每月的 token 用量,然后再与托管报价进行比较。在 API 密钥页面 上提供价值 $0.50 的一次点击试用,调用方式与通常的 OpenAI 调用相同:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

响应包含一个使用量对象和一个 X-Balance-USD 标头,因此一周的正常使用情况会给你一个真实的月度数据。如果该数据接近盈亏平衡点,你就有了决策依据。设置详情见 文档。关于所涉模型类型的背景,请参阅 无审查 AI 模型是什么。

问答

自托管 LLM 比 API 更便宜吗?

仅在高且稳定的用量下。GPU 在闲置或满载时成本相同,而 API 按 token 计费。使用上述公式计算盈亏平衡点。

我需要多少 GPU 显存?

权重在 16 位时每个参数占用约 2 字节,在 4 位时占用约 0.5 字节,因此 70B 模型大约需要 140 GB 或 35 GB,加上上下文缓存所需的内存。

我可以在此 API 上进行微调吗?

不可以。它仅支持文本推理,不支持微调或嵌入。如果你需要自定义权重,自托管是更合适的方案。

API 的定价是多少?

输入 token 每 1M 个 $0.15,输出 token 每 1M 个 $0.50,预付制,无订阅,失败请求不产生费用。

你们会基于我的提示词进行训练吗?

不会。提示词不用于训练。

你的密钥即将就绪,只需完成最后一步表单

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥