大模型 API 預算要控制得住,關鍵是「額度先於帳單」:先替每個部門、每位成員設月度額度,再替每把自動化服務用的 Key 單獨設上限,額度用完後請求在處理之前就會被拒絕(HTTP 402 insufficient_quota),所以一個失控的 Agent 迴圈最多只會花到它的上限為止。在 HopBase,部門與成員額度會在你設定的帳期日(每月 1–28 號)統一重置;企業餘額可設多段預警,跌破時寄送 Email 並發站內通知;再搭配依任務挑選較便宜的模型、善用提示詞快取,以及每週一次匯出 CSV 檢討,超支就會從「月底才發現」變成「當天就被擋下」。
AI 用量為什麼容易超支
- 按 token 計費,成本跟著呼叫量走:沒有固定月費,一個剛上線的功能、一段寫錯的重試邏輯,都可能讓花費在幾小時內翻倍。
- 自動化服務沒人盯:Agent、批次作業、排程任務半夜也在跑,迴圈少了結束條件就會一直呼叫。
- 一把 Key 多人共用:事後分不清是誰、哪個專案花的錢,也就無從追蹤與優化。
- 模型一律用「最好的」:分類、擷取這類簡單任務也用旗艦模型,單價差距直接反映在帳單上。
因此 token 成本管控的目標很明確:每一筆消耗都有歸屬,每個歸屬都有上限,觸發上限時由系統自動攔截,而不是靠人每天盯帳。
第一步:建立三層額度——部門、成員、Key
在 HopBase 企業帳號下,企業主(或企業管理員)可以建立團隊成員與部門,所有消耗都從企業餘額扣除。額度分三層,各司其職:
| 額度層級 | 管控範圍 | 重置方式 | 適用對象 |
|---|---|---|---|
| 部門額度 | 整個部門(含成員與歸屬該部門的 Key)每月上限 | 帳期日統一重置 | 以部門編列預算的財務口徑 |
| 成員額度 | 單一成員每月上限 | 帳期日統一重置 | 工程師、營運等個人使用 |
| Key 額度 | 單把 Key 的消耗上限 | 視需要手動調整 | Agent、批次作業、線上服務 |
有幾條規則要先釐清:
- 成員額度加總可以超過部門額度,此時採先用先得——部門額度一旦用完,部門內所有請求都會被拒。
- 部門負責人會收到本部門及成員的額度預警,可管理本部門成員(新增、修改、移除、調額度、停用、換分組),但不能更改部門額度、帳期與負責人本身,這些由企業主或企業管理員決定。
- 未綁定成員的 Key 可以直接歸到部門,自動化服務的消耗就會算進部門預算。
第二步:替自動化服務的 Key 單獨設上限
替團隊設 AI 額度時,最常被忽略的是機器。建議每個自動化服務各用一把獨立的 Key,建立時就設好:
- 額度:以該服務正常用量的 1.5–2 倍為上限,保留波動空間,同時擋下失控。
- 分組:每把 Key 可含 1–10 個分組,只能呼叫這些分組裡的模型;批次作業的 Key 只綁定輕量模型所在的分組,就算程式寫錯也呼叫不到旗艦模型。
- 到期時間、IP 名單、並發:臨時任務設到期時間;線上服務鎖定出口 IP;並發上限也能壓住突發流量。
Key 額度用完後,請求在處理之前就會回傳 402,不會先產生內容再扣款。程式應該把 402 當成「停止」的訊號,而不是重試:
from openai import OpenAI, APIStatusError
client = OpenAI(api_key="sk-your-key", base_url="https://api.hop-base.com/v1")
def step(messages):
try:
return client.chat.completions.create(model="your-model", messages=messages)
except APIStatusError as e:
if e.status_code == 402: # insufficient_quota:額度已用完
raise SystemExit("Key 額度已用完,停止 Agent 迴圈並通知負責人")
raise
需要緊急止血時,也可以在控制台隨時停用或撤銷這把 Key,立即生效。
第三步:餘額分段預警 + 帳期日重置
額度管「誰能花多少」,餘額預警管「企業還剩多少」。在企業餘額上依可用餘額設多段門檻,例如「夠用兩週」「夠用一週」「夠用三天」三段,跌破任一段就寄 Email 並發站內通知。如此一來,儲值決策會提早交到財務手上,而不是等所有請求都回 402 才發現。
帳期日建議與公司財務月結對齊(可選每月 1–28 號)。到了帳期日,部門與成員的月度額度統一重置,新的月份從零開始計算。
第四步:降低單價的兩個槓桿
- 依任務選模型:分類、改寫、擷取用輕量模型,複雜推理與程式碼再用旗艦模型。HopBase 依各廠商官方牌價 × 分組折扣結算,同一模型在不同分組的折扣也不同,挑選方式見分組路由降本指南。
- 善用提示詞快取:長系統提示、長文件、多輪對話的固定前綴命中快取後,以廠商的快取讀取價計費,通常明顯低於一般輸入價。寫法與命中條件見提示詞快取省錢指南。
第五步:每週 15 分鐘檢討
- 打開用量頁,日期選最近 7 天並匯出 CSV(可依 Key、成員、部門、Key 建立者篩選;單檔最多 5 萬列、可選 400 天)。
- 依「實扣金額」排序,找出花費最高的前 5 把 Key 與前 5 個模型,和上週比較。
- 抽查幾列,以「官方成本 × 折扣 ÷ 匯率 = 實扣」驗算;失敗請求不計費,不會出現在扣款中。
- 對用量異常成長的 Key:詢問建立者原因,必要時調低額度或改用較便宜的分組。
- 查看預警紀錄:同一段門檻一週內反覆被觸發,代表額度或儲值節奏需要調整。
逐列對帳與依部門分攤的完整做法,見大模型 API 用量對帳與部門分攤。
範例:一家 30 人公司的預算表(數字皆為假設)
以下數字純屬示範,用來說明如何分配,不代表任何真實客戶,也不代表 HopBase 的價格。
| 對象 | 範例額度(美元/月) | 說明 |
|---|---|---|
| 研發部 | 1,800 | 8 位工程師每人 200(合計 1,600,先用先得),另含 2 把服務用 Key |
| 研發部 · 程式碼審查 Agent Key | 150 | 只綁定輕量模型分組,IP 鎖定 CI 出口 |
| 客服部 | 700 | 4 位成員每人 200(合計 800 > 700,先用先得) |
| 行銷部 | 300 | 2 位成員每人 150 |
| 餘額預警 | 1,500 / 800 / 300 | 可用餘額跌破任一段即寄 Email |
假設某天程式碼審查 Agent 因解析錯誤陷入迴圈:它會持續呼叫,直到這把 Key 的 150 上限用完,之後所有請求回傳 402,研發部其他成員不受影響,部門負責人收到額度預警,隔週檢討時這把 Key 會排在第一名。損失被限制在 150 以內。
常見問題
大模型 API 預算怎麼控制,最少要做哪幾步?
最少三步:依部門與成員設月度額度、替每個自動化服務配一把有上限的獨立 Key、在企業餘額上設至少兩段預警。做到這三步,單一失控的程式就不會把整個月的預算花光。
額度用完後請求會怎樣?會不會先扣錢?
不會。額度不足時請求在處理之前就被拒絕,回傳 HTTP 402 insufficient_quota,不產生費用;失敗請求也不計費。調高額度或到帳期日重置後即可繼續使用。
可以替團隊成員設 AI 額度,而且每月自動歸零嗎?
可以。成員額度與部門額度都是月度額度,會在你設定的帳期日(每月 1–28 號)統一重置。Key 額度則是單把 Key 的上限,需要時手動調整。
想照這套方法替團隊編預算,可以註冊 HopBase 企業帳號,建部門、分額度、發 Key,幾分鐘就能設定完成。