平均分數掩蓋了 Agent 的可靠性
這份真實商務任務評測最值得看的,不是哪個 agent 拿第一,而是它提醒我們:平均分數很容易把不同問題壓扁。
報告在 2026 年 8 到 10 月用同一組五項標準測六個 agent。Claude Cowork 得 9.3,ChatGPT Work 得 9.15,OpenAI Dots 得 8.8,Gemini Spark 得 8.7。這些數字只能提供方向,不能直接翻譯成可靠性排名,因為各產品 mechanics 不同,作者也明說比較是 directional。
Claude Duet 更能說明問題。它在九個有評分任務平均 9.7,但一次 MP3 follow-up 失敗,卻被排除在平均之外。若只看 9.7,它像冠軍;若關心 production,流程中斷後能否接續才是關鍵。被排除的失敗不是雜訊,而是使用者要承擔的重做、等待與信任成本。
我會把 agent 評估拆成四層:task performance 看完成品質,reliability 看重跑或追問後是否穩定,correction cost 看出錯後查證修正要花多少人力,permission boundaries 看它是否只做被授權的事。平均分數通常只覆蓋第一層,卻常被誤當成全部。
所以評測表不應只放總分,還要保留逐任務成功率、失敗類型、重試與排除規則。尤其 exclusion rule 本身就是實驗設計。作者願意公開 corrections、failures 和 permission boundaries,這比一張漂亮排行榜更有研究價值。
真正選工具時,我會先依 workflow 建立 failure taxonomy,確認哪些錯誤可偵測、哪些必須人工介入,再比較平均分數。最佳 agent 不一定最高分,而可能是失敗最容易發現、修正成本最低、權限邊界最清楚的那一個。
作者:陳思維