醫療 AI 的安全邊界，不是模型知道多少
醫療 AI 最危險的時刻，往往不是它答錯，而是它在不該決定的地方答得太快。
AWS Architecture Blog 最近示範一套醫療編碼工作流，真正值得帶回臨床的不是某個模型或雲端服務，而是三層責任邊界。第一層由規則處理已知安全情況，例如封鎖清單、精確字典與同義詞比對。第二層由工作流引擎掌管路由、審核與失敗狀態，模型不能自行跳過流程。第三層才讓 agent 在受限步驟做語意搜尋，而且必須留下完整症狀家族樹與一句可追溯理由。
這個順序很反直覺：先把模型排除在外，反而更接近可用的醫療 AI。範例中十二個案例有五個在第一階段完成，代表超過三分之一的請求根本不需要 agent。這不是節省成本而已，也是降低幻覺、權限擴張與責任不清的安全設計。
導入醫療 AI 時，我會要求團隊先回答三個驗收問題。第一，哪些輸入必須被規則直接攔下，不能交給模型猜？第二，模型的每個判斷是否都能被重播、審核，並在失敗時保留開放狀態，而不是悄悄產生結果？第三，拿已知正確資料測試時，是否同時量測精確率與錯誤自動編碼率？後者才是臨床風險的核心。
我會再加上一題：當輸入資料、字典版本或模型設定改變時，誰負責重新驗證，什麼情況必須暫停自動化？把這個觸發條件寫進流程，才不會把一次性測試誤認成長期安全。
這篇文章明確聲明範例不是臨床工具。對醫院而言，下一步不是把 sample 直接上線，而是把三層邊界寫成自己的責任矩陣，再讓臨床、資訊與倫理團隊逐項簽核。模型懂得更多，從來不等於系統應該讓它決定更多。
作者：陳逸 Dr.