HopBase自建還是託管,看你的團隊願不願意長期承擔「網關之外」的工作。用 LiteLLM、One API、New API 自建,軟體免費、部署位置完全可控,但每家模型廠商的帳號、合約與餘額仍要自己開,高可用、額度、稽核、對帳、跟進新模型與調價也都落在維運身上。託管網關把這些打包成服務,代價是部署形態由服務商決定。有嚴格資料駐留要求或已簽廠商合約的團隊,自建更合適;想讓多個部門儘快用上多家模型、又不增加維運人力的團隊,託管更省事。
自建開源網關,實際要做哪些事
LiteLLM 既是 Python SDK,也能作為自行託管的網關服務(LiteLLM Proxy)執行;One API、New API 是可自行部署的開源網關,把多家模型介面統一成 OpenAI 相容格式,並內建 Key 與額度管理。它們解決的是「統一介面」,以下工作仍需你自己完成:
- 開齊每家廠商的帳號與餘額。開源網關本身不提供模型,只負責轉換與路由請求。要用 Claude、GPT、Gemini、DeepSeek、通義千問,就得逐家註冊、驗證或簽約、綁定付款方式,並分別盯餘額。
- 部署與高可用。網關、資料庫、快取都要部署與備份;多實例、健康檢查、升級回滾、監控告警都得自己做。網關一停,所有業務的 AI 呼叫跟著停。
- 把密鑰、額度、稽核配成你的組織結構。開源專案通常提供虛擬 Key、額度等基礎能力,但部門劃分、誰能改額度、操作紀錄查到多細,需要逐項設定或二次開發。
- 計費對帳。每家廠商各自出帳,幣別與計費口徑不同。月底要把網關日誌與各家帳單逐筆對齊,再分攤到部門。
- 跟進新模型與調價。廠商推出新模型、更改模型 ID、調整價格時,網關裡的模型清單與價格表都要同步更新,否則內部計費會失準。
- 協定相容。串流輸出、工具呼叫、Anthropic Messages 與 OpenAI 格式之間的差異,都要隨專案版本升級持續驗證。
託管網關涵蓋哪些部分(以 HopBase 為例)
- 一個帳戶、一份餘額:Claude、GPT、Gemini、DeepSeek、千問、GLM、Kimi、豆包、混元、Grok,以及 Seedance、可靈、海螺等圖片影片模型,按各廠商官方牌價 × 分組折扣以美元結算,不必逐家開戶。
- 兩套協定:OpenAI 相容
https://api.hop-base.com/v1;Anthropic Messageshttps://api.hop-base.com(不帶 /v1)。 - 容量與 failover:每個請求由 Key 所含的一個分組服務,背後是池化的冗餘容量,自動 failover。
- 團隊治理:企業主與企業管理員管理成員、部門與密鑰;密鑰、成員、部門三級額度,月度額度於帳期日(每月 1–28 號)統一重置;額度不足時請求在處理前即被拒絕(HTTP 402)。
- 密鑰控制:每把 Key 含 1–10 個分組,可設額度、到期時間、IP 名單、並發,可隨時停用或撤銷;伺服器端只存單向雜湊。
- 稽核與對帳:組織、成員、額度、密鑰操作全程留痕;用量頁可依日期、Key、成員、部門匯出 CSV,逐筆複算「官方成本 × 折扣 ÷ 匯率 = 實扣」;失敗請求不計費。
- 資料:提示詞與輸出只用於完成請求,不作為業務資料保留、不用於訓練;全程 TLS。
要說清楚的是:HopBase 不提供私有化部署。若這是硬性需求,應優先考慮自建。
對比表:自建開源網關 vs 託管網關
| 面向 | 自建(LiteLLM / One API / New API) | 託管(HopBase) |
|---|---|---|
| 模型廠商帳號與合約 | 每家各開一套,自己簽約、儲值 | 一個帳戶涵蓋多家模型 |
| 部署位置與資料駐留 | 可部署在自有機房、指定雲端區域或內網 | 使用 HopBase 的服務,不提供私有化部署 |
| 高可用 | 自己做多實例、備份、監控、升級 | 池化冗餘容量與自動 failover 由服務承擔 |
| 密鑰、額度、稽核 | 具基礎能力,組織結構需自行設定或開發 | 三級額度、部門、稽核紀錄開箱即用 |
| 計費對帳 | 多份帳單、多種幣別,手動合併 | 一份美元帳單,CSV 可逐筆複算 |
| 新模型與調價 | 自己更新模型清單與價格表 | 由服務方維護模型目錄與牌價 |
| 可客製程度 | 可改程式碼、加外掛、接內部系統 | 以主控台與 API 提供的能力為準 |
| 主要成本 | 廠商費用 + 伺服器 + 維運人力 | 按量計費,企業用量由商務報價 |
怎麼選
選自建,如果:
- 法遵要求請求必須留在指定區域或內網,不能經過第三方服務。
- 已與模型廠商簽訂企業合約或取得專屬額度,想繼續直接使用。
- 需要私有化部署,或要把網關深度整合進內部系統。
- 有專人負責維運,能接受網關故障時自行排查。
選託管,如果:
- 要同時用多家模型,不想逐家開戶、儲值、對帳。
- 想按部門、成員、Key 管額度與看消耗,但不想自己開發。
- 沒有專職維運,希望高可用與 failover 由服務承擔。
- 財務需要一份可逐筆複算的用量明細。
也可以兩者並用
已部署 LiteLLM Proxy 的團隊,可以保留它作為內部統一入口,把 HopBase 當成一個 OpenAI 相容 provider 接進去:模型 ID 前加 openai/,api_base 填 https://api.hop-base.com/v1。設定方式見 LiteLLM 接入文件。
四步做出決定
- 列需求:要用哪些模型、哪些業務、資料能否離開內網。
- 算人力:自建按「部署 + 值班 + 每月對帳 + 跟進新模型」估算人天。
- 小範圍試行:挑一個部門,兩種方案各跑一週,比較可用性、對帳耗時與故障處理。
- 按清單驗收:協定完整性、並發表現、計費透明度逐項測。方法可參考團隊網關選型清單,高並發與 failover 的工程細節見這篇工程實錄。
想先試託管方案:註冊 HopBase,建立企業帳號後即可新增成員與部門。公司轉帳、發票或企業結算請聯絡 sales@hop-base.com。
常見問題
LiteLLM 自建要花多少成本?
軟體免費,成本在三塊:各模型廠商的呼叫費用、伺服器與資料庫、維運人力。多數團隊低估的是人力——部署、升級、監控、對帳與跟進新模型都需要固定投入。
One API / New API 部署後還要自己買模型額度嗎?
要。這類網關負責統一介面與分派請求,模型額度仍來自你在各廠商開的帳號。每家的餘額、限流與帳單都得分開管理。
企業 AI 網關選型最先看什麼?
先看資料要求:請求是否必須留在內網或特定區域。是的話優先自建;不是的話,再比較維運人力、需要的模型數量與對帳難度。