AI 互審之後,誰能證明系統值得信任
這份生產級醫療平台的個案研究,記錄一位沒有正式軟體工程訓練的營運者,如何借助 coding agents 建立系統。後來,流程逐漸形成由人主導的多代理協作:一個代理負責寫碼,其他代理執行測試、監控與審查,專案規則則把過去的經驗留在系統裡。表面看來,這像是用更多 AI 交叉檢查,降低單一代理犯錯的風險。真正值得警惕的地方,卻在於每一層防線都可能只是在製造安全感。研究裡,測試可能只測到代理指標,監控可能在稽核無聲失敗時仍顯示正常,審查代理也可能漏掉關鍵檢查,甚至有一次自動修復直接造成營運中斷。這些案例提醒我們,治理的問題從來不只是代理數量不夠,或提示詞還不夠精細,而是每個判斷是否都有可追溯、可質疑、能對應真實風險的證據。
我尤其在意「代理互審」容易掩蓋的責任斷裂。當寫碼、測試、批准與修復被拆給不同代理,錯誤就可能在分工之間流動,最後沒有人真正擁有停止部署的權力,也沒有人必須為結果負責。對醫療平台而言,系統故障不只是程式碼品質問題,還可能影響病人的等待、照護與信任。因此,權限設計必須先回答誰可以做什麼、何時必須停下來,以及哪些操作不能交給自動化。證據也不能只看測試通過率,而要連結到使用者受到的實際影響,並保留人類能理解和重新判斷的脈絡。
這個個案帶來的治理命題是,目標、證據、權限與最後的人類決定,必須指向同一個客觀目的。若團隊只增加審查代理,卻沒有清楚定義失敗、升級與否決機制,複雜度只會增加,責任反而更難追究。可靠的 AI 軟體流程,應該讓人能看見每個代理的盲點,也能在代理判斷彼此一致時保持懷疑。信任不是由更多意見堆出來,而是由可驗證的證據、受限的權限,以及願意承擔後果的人共同建立。
作者:袁怡萱