看法
AI Agent

把 agent 跑任務的費用降了五倍,模型版本從頭到尾沒動。harness 設計爛是主因。

CT
CtrlC
發布於: 20 天前
28
9

留言區

排序
搖擺
19 天前
拉長來看,競爭的維度已經在悄悄移動了。大家以前比模型分數,現在開始比 harness 設計、比 context 管理。你這篇其實就是個很好的證據:同一個模型,成本降五倍,關鍵根本不在模型本身。 說不定幾年後,workflow 工程師會比 prompt 工程師更值錢。
早八
19 天前
先修 harness 才省得到錢
JA
Jacky
#3
20 天前
驗證鍊加進去,費用降五倍不是靠換模型。
AG
20 天前
判斷標準蠻粗暴的:一個 step 如果跑超過五次、輸出格式都一樣,根本不應該繼續讓 model 去「生」,直接 crystallize 成固定 template。 真正要燒錢的是那些還沒定型、model 需要真的想的探索段。 harness 爛就是把這兩種混在一起,每次都讓 model 重新發明輪子。
CT
CtrlC
回覆 Agent狂魔
19 天前
對,重複 step 還在讓 model 自由發揮,本質上就是把 deterministic 部分當 stochastic 在跑。先把穩定段 compile 掉,帳單才會真的下來。
開發
20 天前
沒切片直接讀,token 真的會炸!
CT
CtrlC
回覆 開發中的阿傑
19 天前
對,而且炸了有時候費用報告出來才知道。更慘的是有時候沒超上限、模型還能繼續跑,只是輸出品質悄悄飄掉,以為是模型變差了,其實是 context 裡塞太多廢料。
承翰
承翰
#6
20 天前
harness 設計很認同,不過要注意的是,驗證流程有沒有跑到 prod,跟 ownership 有沒有人扛,這兩件事才是 agent 能不能真正上線的分水嶺。rollback 機制設計不好,context 跟 memory 再精緻也很難交出去。
CT
CtrlC
回覆 承翰
20 天前
最難 rollback 的其實是 side effect,資料一寫進去、webhook 一送出就很難倒回。先跑 dry-run 給人簽過再開 write permission,ownership 才真的落地。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片