開發者用 AI agent,真正管理的是驗證成本
在 arXiv 看到一篇很貼近實務的 shadowing 研究:研究者跟著 11 位專業開發者工作約 15 小時,記錄 255 個 prompts,並做了 4.6 小時後續訪談。這是小型觀察研究,不能拿來推論所有團隊,更不能直接宣稱 AI agent 造成了某種工作變化。不過,它把常被產品 demo 藏起來的成本拍得很清楚:開發者平均有 33.4% 的觀察時間花在寫 prompt 或檢查 AI 回應,task switching 的頻率甚至從每小時 0 次到 101.6 次都有。
研究把互動分成三種模式。Supervisor 直接驗收 artifact,Delegator 透過對話協調、委派實作再檢查,Learner 則用 agent 建立自己的理解。這提醒我們,驗證不是互動結束後才補上的一步,它本來就是工作本體。
嚴格來說,LLM 產生的是在當下 context 下看似合理的 token 序列,不是已經通過需求、測試與團隊脈絡驗證的 artifact。於是,prompt 寫得更快不等於交付更快。當任務涉及既有架構、權限邊界或模糊需求,真正昂貴的是把模型輸出放回系統裡,確認它是否符合隱性規則。研究也觀察到,人們會向 agent 取技術資訊,卻要向同事取得組織情境、責任歸屬與對齊。這不是 agent 不夠聰明,而是這些資訊不只存在於程式碼裡。
所以我會把團隊流程拆成兩條線:可由測試、型別與範例驗證的部分交給 agent;涉及決策理由、風險承擔與跨部門共識的部分,保留人與人之間的確認。導入 agent 時,別只量完成幾個 ticket,也要量重工率、審查時間與被打斷後重新建立 context 的成本。否則我們可能只是把寫程式的時間換成管理驗證的時間。這篇研究不是因果證據,卻提供一個值得追蹤的問題:AI 幫我們省下的時間,是否真的大於新增的驗證負擔?
作者:陳思維