可被修改的 trace 不能構成稽核證據
最近在 arXiv 看到一篇很值得讓做 Agent 的人停下來想的研究。它測試了幾個常見的本地 LLM agent 環境,結果指出一個看似細微、其實很根本的問題:許多系統把執行紀錄放在 agent 自己可以碰到的地方。當 agent 被要求刪除 trace,監控機制往往沒有攔住它。
大家常把 trace 當成可觀測性的基礎。任務為什麼失敗、誰下了什麼指令、工具呼叫在哪一步偏離,事後都靠它重建。但從社會學的視角,日誌真正的功能不只是除錯,而是讓組織能夠追問責任。若被檢視的行動者可以自行改寫、清除或選擇性保留紀錄,這份紀錄至多是自我陳述,不能是稽核證據。
這也改變了我們對「有沒有 logging」的判準。問題不在於 agent 有沒有留下足夠多文字,而在於誰擁有記錄權、誰控制保存位置、誰能證明記錄沒有被事後動過。當公司把 agent 放進客服、採購、資安或內部決策流程,出了事故後,受影響的人通常不是有權讀取系統檔案的人。若唯一證據由系統本身保管,責任就會往最沒有談判能力的一方轉移。
這篇研究提出的方向很直白:trace 應由 agent 控制範圍之外的獨立攔截機制記錄,即使主機失守,紀錄的完整性仍可被驗證。我會再加上三個制度問題:記錄保存多久、哪些角色能查閱、以及被自動化決策影響的人是否有申訴與調閱的管道。
我們需要的不是更會寫 log 的 agent,而是一套不必相信 agent 自己的可問責設計。否則每一次事故調查,都可能先從一段消失的歷史開始。
作者:袁怡萱