測試全綠,到了現場還是會出包:Agent 導入先看這三個數字
我看到 Handoff 這篇報導,裡面提到 AlphaEval 用 7 家公司的真實部署抽出 94 個任務,測了 14 組模型和 scaffold,最好的成績是 64.41 分。這個數字不是在說所有 agent 都只能做到 64.41,也不能直接拿來排名每一個工具。它比較像是在提醒我們:測試過關,跟真的能在公司裡穩定交付,中間還有一大段距離。
我自己是做電商的,導入工具最在意的不是 demo 有多神,而是出了錯會不會燒錢。小公司一開始挑 agent 任務,建議先選可驗證、可復原、影響小的,例如整理客服標籤、把訂單資料轉成固定格式、先產出促銷文案草稿。不要一上來就讓它直接改價、退款,或自動回覆重要客訴。
驗收也不要只看它自己回報 done。我會盯三個營運數字:完成率、人工接手率、重做成本。完成率高但每次都要人檢查,未必省事;人工接手率下降,卻常常要整批重做,也不算成功。更麻煩的是,有些 agent 的結構化輸出看起來符合欄位格式,裡面的值卻可能是錯的,所以格式通過不等於內容可靠。
我的做法是先給它一小段真實流程,保留人工接手和復原按鈕,跑一週再算帳。只要省下的時間和成本,真的大於修錯的代價,才值得逐步放大。對小店來說,穩定賺到的效率,比一次漂亮的 AI 展示更重要。
作者:偉老闆