HopBase大模型私有化部署與 API 呼叫,不是比誰便宜,而是看三個條件:資料是否必須留在本地、用量是否高且穩定、是否需要自行微調。三項都不符合,按量呼叫 API 幾乎總是更省事也更省錢;只有第一項成立,通常採混合模式:敏感資料走本地開源模型,其餘走 API。本文提供一套中立的判斷框架,以及可代入自家數字的成本公式,不預設任何硬體價格。先說明:HopBase 只提供 API 呼叫,不提供私有化部署。
一張表看兩種方式的成本結構
| 成本項 | 私有化部署 | API 按量呼叫 |
|---|---|---|
| 前期投入 | GPU 伺服器、網路、儲存,或長期租用算力 | 無;預付餘額即可開始 |
| 固定成本 | 折舊、機房電力、維運與演算法人力,不用也在花 | 無 |
| 變動成本 | 很低(主要是電力) | 按 token 計費,用多少付多少 |
| 使用率風險 | 由你承擔:閒置時單位成本上升 | 由服務方承擔 |
| 模型更新 | 換代要重新下載、測試、調校,可能還要換卡 | 改一個 model 欄位 |
| 可用模型 | 僅限開放權重的模型 | 開放權重模型 + Claude、GPT、Gemini 等閉源模型 |
成本公式:代入你自己的數字
- 自建月成本 C = 硬體總價 ÷ 折舊月數 + 每月電力與機房 + 每月維運/演算法人力 + 每月分攤的模型升級與遷移工時。
- 自建每月實際產出 T = 峰值吞吐(token/秒)× 每月秒數 × 使用率。使用率是關鍵:白天尖峰、夜間閒置的業務,往往遠低於預期。
- 自建單價 = C ÷ (T ÷ 1,000,000),即每百萬 token 成本。
- API 月成本 = Σ(輸入 token × 輸入單價 + 輸出 token × 輸出單價 + 快取命中 × 快取單價)。單價依各廠商官方牌價 × 分組折扣,見價格頁。
- 損益兩平:當 C ≤ 同等用量下的 API 月成本,且這個用量能穩定維持到硬體折舊期結束,自建才在帳面上划算。
兩個常被漏算的項目:一是品質落差——本地能跑的開源模型若達不到需要的效果,要另計重工或人工複核成本;二是換代成本——模型半年一換,硬體三到五年折舊,中間每次遷移都是人力。各家牌價可參考AI 模型 API 官方牌價比較。
什麼時候私有化部署合理
- 資料不能離開本地:法規、合約或內部制度要求資料不出自有機房,這是最硬的理由,成本退居其次。
- 用量高且穩定:全天候、可預測的大量推論,使用率能長期維持高檔。
- 需要深度微調:要用自有資料訓練或微調權重,並長期維護這個模型。
- 有團隊:有人負責推論服務、監控、擴容、安全修補與模型升級。
什麼時候 API 更合適
- 負載起伏大:試點、季節性業務、白天集中呼叫。按量付費不必為閒置買單。
- 要用前沿閉源模型:Claude、GPT、Gemini 不開放權重,無法自建,只能透過 API 使用。
- 模型換得快:新模型上線後直接改模型 ID 比較效果,不必等採購與部署。
- 多模型並用:一把 Key 可掛多個分組,同時呼叫 DeepSeek、千問、GLM、Kimi、Claude、GPT 等,統一扣款、統一對帳。
混合模式:依資料分級決定去向
- 先做資料分級:把業務資料分成「不得離開本地」與「可以外送」兩類,寫進制度。
- 敏感類走本地:在內網部署一個開放權重的開源模型,只處理這部分請求,規模依這部分用量配置,不必按全量配置。
- 其餘走 API:一般問答、程式、翻譯、多模態等交給 API,依需求選前沿模型。
- 統一入口:應用端用 OpenAI 相容格式呼叫,本地模型與 API 共用同一套 SDK,依資料等級決定 Base URL。
- 依 Key 管成本:API 端一個應用一把 Key 並設額度;額度用完時請求在處理前即被拒絕(HTTP 402),用量可依 Key、成員、部門匯出 CSV 對帳。
API 這一側的資料邊界
選擇 API 時,資料問題要取得書面說明。HopBase 的說明是:提示詞與輸出只用於完成請求,不作為業務資料保留、不用於訓練;計費元資料(模型、token 數、延遲、狀態)保留供發票與稽核;全程 TLS。Key 在伺服端只存單向雜湊,可設 IP 名單、到期時間,隨時撤銷。完整評估項目見企業接入大模型 API 的安全清單。
常見問題
企業該自建大模型嗎?
先問三件事:資料是否必須留在本地、用量是否高且穩定、是否要微調。都不是,就用 API;只有資料要求,就採混合;三者都符合且有維運團隊,再評估自建。
私有化部署成本怎麼算?
以「硬體折舊 + 電力機房 + 人力 + 升級遷移」算出月成本,再除以「峰值吞吐 × 時長 × 使用率」得到每百萬 token 成本,與同等用量的 API 帳單比較。使用率估低一點比較保險。
HopBase 能做私有化部署嗎?
不能。HopBase 只提供 API 呼叫,適合混合模式中可以外送的那部分請求。企業用量與結算可聯絡 sales@hop-base.com。