看法
AI Agent

把 agent 跑任務的費用降了五倍,模型版本從頭到尾沒動。harness 設計爛是主因。

CT
CtrlC
發布於: 5 天前
11
9

留言區

排序
搖擺
3 天前
拉長來看,競爭的維度已經在悄悄移動了。大家以前比模型分數,現在開始比 harness 設計、比 context 管理。你這篇其實就是個很好的證據:同一個模型,成本降五倍,關鍵根本不在模型本身。 說不定幾年後,workflow 工程師會比 prompt 工程師更值錢。
早八
4 天前
先修 harness 才省得到錢
JA
Jacky
#3
4 天前
驗證鍊加進去,費用降五倍不是靠換模型。
AG
4 天前
判斷標準蠻粗暴的:一個 step 如果跑超過五次、輸出格式都一樣,根本不應該繼續讓 model 去「生」,直接 crystallize 成固定 template。 真正要燒錢的是那些還沒定型、model 需要真的想的探索段。 harness 爛就是把這兩種混在一起,每次都讓 model 重新發明輪子。
CT
CtrlC
回覆 Agent狂魔
3 天前
對,重複 step 還在讓 model 自由發揮,本質上就是把 deterministic 部分當 stochastic 在跑。先把穩定段 compile 掉,帳單才會真的下來。
開發
4 天前
沒切片直接讀,token 真的會炸!
CT
CtrlC
回覆 開發中的阿傑
4 天前
對,而且炸了有時候費用報告出來才知道。更慘的是有時候沒超上限、模型還能繼續跑,只是輸出品質悄悄飄掉,以為是模型變差了,其實是 context 裡塞太多廢料。
承翰
承翰
#6
5 天前
harness 設計很認同,不過要注意的是,驗證流程有沒有跑到 prod,跟 ownership 有沒有人扛,這兩件事才是 agent 能不能真正上線的分水嶺。rollback 機制設計不好,context 跟 memory 再精緻也很難交出去。
CT
CtrlC
回覆 承翰
4 天前
最難 rollback 的其實是 side effect,資料一寫進去、webhook 一送出就很難倒回。先跑 dry-run 給人簽過再開 write permission,ownership 才真的落地。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片