HopBase自建还是托管,看你的团队愿不愿意长期承担「网关之外」的工作。用 LiteLLM、One API、New API 自建,软件免费、部署位置完全可控,但每家模型厂商的账号、合同和余额仍要自己开,高可用、额度、审计、对账、跟进新模型和调价也都落在运维身上。托管网关把这些打包成服务,代价是部署形态由服务商决定。有严格数据驻留要求或已签厂商合同的团队,自建更合适;想让多个部门尽快用上多家模型、又不加运维编制的团队,托管更省事。
自建开源网关,实际要做哪些事
LiteLLM 既是 Python SDK,也能作为自托管的网关服务(LiteLLM Proxy)运行;One API、New API 是可自行部署的开源网关,把多家模型接口统一成 OpenAI 兼容格式,并带有 Key 与额度管理。它们解决的是「统一接口」,下面这些事仍需要你自己完成:
- 开齐每家厂商的账号与余额。开源网关不提供模型,只转换和路由请求。要用 Claude、GPT、Gemini、DeepSeek、千问,就要分别注册、实名或签约、绑定付款方式,并分别盯余额。
- 部署与高可用。网关本身、数据库、缓存都要部署和备份;要做多实例、健康检查、升级回滚和监控告警。网关一停,所有业务的 AI 调用一起停。
- 把密钥、额度、审计配成你的组织结构。开源项目通常提供虚拟 Key、额度等基础能力,但部门划分、谁能改额度、操作留痕查到什么粒度,需要你逐项配置或二次开发。
- 计费对账。每家厂商单独出账、币种和计费口径不同。月底要把网关日志和各家账单逐行对上,再分摊到部门。
- 跟进新模型与调价。厂商上新模型、改模型 ID、调价格时,网关里的模型列表和价格表要同步更新,否则内部计费会偏。
- 协议兼容。流式输出、工具调用、Anthropic Messages 与 OpenAI 格式之间的差异,都要随项目版本升级持续验证。
托管网关覆盖哪些部分(以 HopBase 为例)
- 一个账户、一份余额:Claude、GPT、Gemini、DeepSeek、千问、GLM、Kimi、豆包、混元、Grok 以及 Seedance、可灵、海螺等图片视频模型,按各厂商官方牌价 × 分组折扣以美元结算,不必逐家开户。
- 两套协议:OpenAI 兼容
https://api.hop-base.com/v1;Anthropic Messageshttps://api.hop-base.com(不带 /v1)。 - 容量与 failover:每个请求由 Key 所含的一个分组服务,背后是池化冗余容量,自动 failover。
- 团队治理:企业主与企业管理员管理成员、部门与密钥;密钥、成员、部门三级额度,月度额度在账期日(每月 1–28 号)统一重置;额度不足时请求在处理前被拒绝(HTTP 402)。
- 密钥控制:每把 Key 含 1–10 个分组,可设额度、过期时间、IP 名单、并发,可随时禁用或吊销;服务端只存单向哈希。
- 审计与对账:组织、成员、额度、密钥操作全程留痕;用量页可按日期、Key、成员、部门导出 CSV,逐行复算「官方成本 × 折扣 ÷ 汇率 = 实扣」;失败请求不计费。
- 数据:提示词与输出只用于完成请求,不作为业务数据保留、不用于训练;全程 TLS。
需要说明的是,HopBase 不提供私有化部署。如果这是硬性要求,应优先考虑自建。
对比表:自建开源网关 vs 托管网关
| 维度 | 自建(LiteLLM / One API / New API) | 托管(HopBase) |
|---|---|---|
| 模型厂商账号与合同 | 每家各开一套,自己签约、充值 | 一个账户覆盖多家模型 |
| 部署位置与数据驻留 | 可部署在自己的机房、云区域或内网 | 使用 HopBase 的服务,不提供私有化部署 |
| 高可用 | 自己做多实例、备份、监控、升级 | 池化冗余容量与自动 failover 由服务承担 |
| 密钥、额度、审计 | 有基础能力,组织结构需自行配置或开发 | 三级额度、部门、审计日志开箱可用 |
| 计费对账 | 多家账单、多种币种,手工合并 | 一份美元账单,CSV 可逐行复算 |
| 新模型与调价 | 自己更新模型列表和价格表 | 由服务方维护模型目录与牌价 |
| 可定制程度 | 可改代码、加插件、接内部系统 | 以控制台与 API 提供的能力为准 |
| 主要成本 | 厂商费用 + 服务器 + 运维人力 | 按量计费,企业用量由商务报价 |
怎么选
选自建,如果:
- 合规要求请求必须留在指定区域或内网,不能经过第三方服务。
- 已和模型厂商签了企业合同或拿到专属额度,想继续直接用。
- 需要私有化部署,或要把网关深度接入内部系统。
- 有专人负责运维,并能接受网关故障时自己排查。
选托管,如果:
- 要同时用多家模型,不想逐家开户、充值、对账。
- 想按部门、成员、Key 管额度和看消耗,但不想自己开发。
- 没有专职运维,希望高可用与 failover 由服务承担。
- 财务需要一份能逐行复算的用量明细。
也可以两者结合
已经部署了 LiteLLM Proxy 的团队,可以保留它做内部统一入口,把 HopBase 作为一个 OpenAI 兼容 provider 接进去:模型 ID 前加 openai/,api_base 填 https://api.hop-base.com/v1。配置方法见 LiteLLM 接入文档。
四步做出决定
- 列需求:要用哪些模型、哪些业务、数据能否离开内网。
- 算人力:自建按「部署 + 值守 + 每月对账 + 跟进上新」估算人天。
- 小范围试点:挑一个部门,两种方案各跑一周,对比可用性、对账耗时和故障处理。
- 按清单验收:协议完整性、并发表现、计费透明度逐项测。方法可参考团队网关选型清单,高并发与 failover 的工程细节见这篇工程实录。
想先试托管方案:注册 HopBase,创建企业账号后即可添加成员和部门。公司转账、发票或企业结算请联系 sales@hop-base.com。
常见问题
LiteLLM 自建要花多少成本?
软件免费,成本在三块:各模型厂商的调用费用、服务器与数据库、运维人力。多数团队低估的是人力——部署、升级、监控、对账和跟进新模型都需要固定投入。
One API / New API 部署后还需要自己买模型额度吗?
需要。这类网关负责统一接口和分发请求,模型额度仍来自你在各厂商开的账号。每家的余额、限流和账单都要单独管理。
企业 AI 网关选型最先看什么?
先看数据要求:请求是否必须留在内网或特定区域。如果是,优先自建;如果不是,再比较运维人力、需要的模型数量和对账难度。