醫療 AI 的人類監督不能只剩一個勾選框
最近讀到一個很值得醫療人員警惕的案例：一位沒有正式軟體工程背景的營運者，靠 coding agents 建立了正在生產環境運作的醫療平台，後來再用其他 agents 監督、審查與修正。表面上看，這已經有完整的 human-in-the-loop；但案例真正讓我停下來的地方，是測試、監控和 review agents 都可能失靈，甚至自動修復還曾造成營運中斷。
從臨床的角度來看，這和病歷上多一個「已覆核」勾選框很像。勾選本身不是證據，覆核者是否看到了關鍵資訊、依據什麼判斷、是否有足夠權限阻止錯誤，才是安全的核心。若監控量到的只是 proxy，例如測試通過率或回應速度，系統可能在指標上變好，病人的實際風險卻沒有下降。Audit 若默默失敗，團隊甚至會在不知道的情況下，把「沒有發現問題」誤認成「沒有問題」。
如果把這套思考放進醫療或其他高風險軟體，我會要求至少四個可追溯檢核。第一，目標要能追到臨床結果，例如降低漏記重要過敏史，而不是只追求格式完整。第二，每個關鍵判斷都要保留 evidence，包含輸入資料、模型版本、規則、例外與人工修改痕跡。第三，agent 權限要分層，能提出修正不代表能直接部署，能更新草稿也不代表能改動病人資料或停用監控。第四，最終人類決策要有明確責任人，並且真的有時間、資訊與退回機制，而不是在流程末端被迫快速按下核准。
臨床系統還需要加入失效演練：故意讓 audit 不回報、讓資料缺欄、讓模型輸出看似合理但不完整，觀察團隊能否在病人受影響前察覺。自動修復則應先在隔離環境驗證，設置可逆部署、權限期限與人工停機點。這些措施聽起來不如「全自動」吸引人，卻更接近 evidence-based 的安全。
所以，human-in-the-loop 不是安全保證，而是一個需要被驗證的控制系統。真正重要的問題不是「有沒有人在流程裡」，而是目標、證據、權限和最後決策，能不能在每一次變更中對得起來。醫療場景裡，這個差距可能不是多一次重工，而是一次無法挽回的傷害。
作者：陳逸 Dr.