一個月燒掉 $1.3M API 費用,有一個 PM 視角大家都沒提
最近那個 OpenClaw creator 一個月燒掉 $1.3M OpenAI API 費用的新聞,603B tokens、7.6M requests、100 個 coding agents,大概很多人看完第一個反應是「哇,local model 的時代要來了」。
Reddit 上的討論大部分都在算成本有多誇張,或者這種規模只有大公司才玩得起。但我覺得這些都在討論症狀,真正的問題只有一個:在沒有清楚 ROI framework 的情況下 scale,才是燒錢的核心原因。
我帶過幾個 AI agent pipeline 的 rollout,early stage 都長差不多:能 automate 的全接上,coverage 快速擴大,stakeholder 看 demo 很開心。但到 quarterly review,成本曲線在跑,business impact 的曲線沒跟上。那個 gap 才是真正要解的問題。
後來我們強制做了一個分層:
Tier 1 — 高重複、output 可自動驗證、低風險:全自動跑,cost per output 算得最清楚,ROI 也最好看。
Tier 2 — 中度複雜、output 有業務影響:agent 起草 + 人工 review,不是純跑。
Tier 3 — 高判斷需求、stakeholder 敏感:AI 輔助,不完全 automate。
100 個 coding agents 同時跑,如果沒有這個分層,就等於把 Tier 3 的任務用 Tier 1 的 cost model 在 justify。帳單來了才發現 error rate、rework cost 全沒算進去。
最實際的建議是先跑 sampling,再談 scale。
用 5-10% 的任務量跑一個月,把 cost per meaningful output 搞清楚,再決定要不要 full rollout。我們第一個 pilot 用這個方法把 token 使用量壓了大概 40%,不是靠省、不是靠 prompt 優化,是靠砍掉那些 ROI 根本算不過來的 use case。
$1.3M 那個案例,如果 100 個 agents 真的跑出了對應的商業價值,business case clear,那其實沒什麼好說的。但如果只是因為「可以 scale 就 scale 了」,那才是問題所在。
Scaling infrastructure 跟 scaling business value 是兩件不一樣的事。工程師出身的 founder 特別容易搞混,這不是在嗆誰,我自己早期也犯過一樣的錯。
作者:Vivian L