HopBase大模型私有化部署和 API 调用,不是谁更便宜的问题,而是三个条件:数据是否必须留在本地、用量是否高且稳定、是否需要自己微调。三条都不满足,按量调用 API 几乎总是更省事也更省钱;只有第一条成立,通常做混合:敏感数据走本地开源模型,其余走 API。本文给出一套中立的判断框架和可代入自家数字的成本公式,不预设任何硬件价格。需要说明:HopBase 只提供 API 调用,不提供私有化部署。
一张表看两种方式的成本结构
| 成本项 | 私有化部署 | API 按量调用 |
|---|---|---|
| 前期投入 | GPU 服务器、网络、存储,或长期租用算力 | 无;预付余额即可开始 |
| 固定成本 | 折旧、机房电力、运维与算法人力,不用也在花 | 无 |
| 变动成本 | 很低(主要是电力) | 按 token 计费,用多少付多少 |
| 利用率风险 | 由你承担:闲置时单位成本上升 | 由服务方承担 |
| 模型更新 | 换代要重新下载、测试、调优、可能换卡 | 改一个 model 字段 |
| 可用模型 | 只有开放权重的模型 | 开放权重模型 + Claude、GPT、Gemini 等闭源模型 |
成本公式:代入你自己的数字
- 自建月成本 C = 硬件总价 ÷ 折旧月数 + 每月电力与机房 + 每月运维/算法人力 + 每月分摊的模型升级与迁移工时。
- 自建月实际产出 T = 峰值吞吐(token/秒)× 每月秒数 × 利用率。利用率是关键:白天高峰、夜间闲置的业务,往往远低于你的预期。
- 自建单价 = C ÷ (T ÷ 1,000,000),即每百万 token 成本。
- API 月成本 = Σ(输入 token × 输入单价 + 输出 token × 输出单价 + 缓存命中 × 缓存单价)。单价按各厂商官方牌价 × 分组折扣,见价格页。
- 盈亏平衡:当 C ≤ 同等用量下的 API 月成本,且这个用量能稳定维持到硬件折旧期结束,自建才在账面上划算。
两个常被漏算的项:一是质量差——本地能跑的开源模型若达不到所需效果,要额外计入返工或人工复核成本;二是换代成本——模型半年一换,硬件三到五年折旧,中间的每次迁移都是人力。各家牌价可参考AI 模型 API 官方牌价对比。
什么时候私有化部署是合理的
- 数据不能出本地:法规、合同或内部制度要求数据不离开自有机房,这是最硬的理由,成本退居其次。
- 用量高且稳定:全天候、可预测的大批量推理,利用率能长期保持高位。
- 需要深度微调:要用自有数据训练或微调权重,并长期维护这个模型。
- 有团队:有人负责推理服务、监控、扩容、安全补丁和模型升级。
什么时候 API 更合适
- 负载波动:试点、季节性业务、白天集中调用。按量付费不为闲置买单。
- 要用前沿闭源模型:Claude、GPT、Gemini 不开放权重,无法自建,只能通过 API 使用。
- 模型换得快:新模型上线后直接改模型 ID 对比效果,不必等采购与部署。
- 多模型并用:一把 Key 可挂多个分组,同时调 DeepSeek、千问、GLM、Kimi、Claude、GPT 等,统一扣费、统一对账。
混合模式:按数据分级路由
- 先做数据分级:把业务数据分成「不得出本地」和「可以外发」两类,写进制度。
- 敏感类走本地:用一个开放权重的开源模型部署在内网,只处理这部分请求,规模按这部分用量配置,不必按全量配。
- 其余走 API:通用问答、编码、翻译、多模态等交给 API,按需选前沿模型。
- 统一入口:应用侧用 OpenAI 兼容格式调用,本地模型与 API 共用同一套 SDK,路由规则按数据级别决定 Base URL。
- 按 Key 管成本:API 侧一个应用一把 Key,设额度;额度用满请求在处理前被拒绝(HTTP 402),用量可按 Key、成员、部门导出 CSV 对账。
API 一侧的数据边界
选择 API 时,数据问题要拿到书面口径。HopBase 的口径是:提示词与输出只用于完成请求,不作为业务数据保留、不用于训练;计费元数据(模型、token 数、延迟、状态)保留用于发票与审计;全程 TLS。Key 在服务端只存单向哈希,可设 IP 名单、过期时间,随时吊销。更完整的评估项见企业接入大模型 API 的安全清单。
常见问题
企业该自建大模型吗?
先问三件事:数据是否必须留在本地、用量是否高且稳定、是否要微调。都不是,就用 API;只有数据要求,就做混合;三者都满足并且有运维团队,再评估自建。
私有化部署成本怎么算?
用「硬件折旧 + 电力机房 + 人力 + 升级迁移」算出月成本,再除以「峰值吞吐 × 时长 × 利用率」得到每百万 token 成本,与同等用量的 API 账单比较。利用率估低一点更安全。
HopBase 能做私有化部署吗?
不能。HopBase 只提供 API 调用,适合混合模式中可以外发的那部分请求。企业用量与结算可联系 sales@hop-base.com。