Agent 好不好用要看它能不能準時交卷
最近看到有人拿 Qwen3.5-4B 測 10 個給小模型用的 agent，規則訂得蠻像回事，每個 agent 放獨立設定目錄，五個固定任務都限時 10 分鐘，最後再用 check script 驗收，結果有人 5/5 做完只花約 1 分半，也有人拖到 17 分鐘以上
先不論那篇測試細節有沒有漏掉什麼，我覺得它有打到一般人選工具最容易搞錯的地方，大家很愛問哪個 agent 最強，實際上你要的是哪個 agent 在你的機器上最少搞事
因為小模型跑 agent，最煩的通常是它一直自我解釋，改了三個檔案又回頭檢查十次，最後時間到了還沒交貨，demo 看起來很有智慧，工作結果卻是空的，這種我遇過幾次，當下真的只想把 terminal 蓋起來 www
所以我自己會把測試拆成四個東西，完成率、總耗時、超時次數、人工收尾時間，尤其最後一項很重要，5/5 不代表你不用擦屁股，如果每次都要手動改一個 import 或把檔名改回來，那它只是把工作從寫 code 變成 code review 而已
測試任務也不要選太漂亮的題目，直接拿自己的破爛 repo 來測，像是讀一份 YAML 後改 Python 設定、修一個 slugify 的 edge case、從 error.log 統計錯誤類型、跨檔案 rename，這些才會撞到路徑、格式、上下文和權限問題，單看 benchmark 分數很難看出來
我會另外加一條硬規則，agent 只能在隔離資料夾動手，跑完一定執行測試或檢查指令，例如 python -m pytest 加上一個檔案 diff 檢查，沒有通過就算失敗，不要讓它自己說「已完成」就算數，AI 最會的就是幫自己寫結案報告
還有一個常被忽略的反例，最快的不一定適合長期用，有些 agent 10 分鐘內很猛，但遇到失敗就直接放棄，有些慢一點的會重試並留下清楚的 log，若任務是偶爾跑一次，速度差一分鐘可能沒差，若每天跑 50 次，那穩定性和可追蹤性就會開始吃掉速度的優勢
所以現在有人問我該選哪個 agent，我不太會先報品牌，會叫他拿三個自己真的會做的任務，各跑三次，記錄完成率和人工修正分鐘數，最後用每次成功的平均成本來選，跑得快但三次壞兩次，這種免費送我都不要
小模型可以做事，驗收不能只看 demo，先把交卷條件寫死，再看誰能穩穩交貨，這比看 tokens/s 有用太多了，樓上正解的話先卡位 XD
作者：島民No.9527