看法
AI Agent

把高敏感權限交給 AI agent 之前,你想清楚了嗎?

搖擺
搖擺熊
發布於: 大約 1 個月前
85
10
加載中...

留言區

排序
菲菲
菲菲
#1
大約 1 個月前
我們最近在評估要不要讓 AI agent 幫忙改 CRM 資料,工程師說可以先跑「乾跑模式」(就是只印 log 不真的執行),然後確認沒問題再開真的寫入權限。感覺這種一步一步放權的方式比較不容易翻車 📝
搖擺
搖擺熊
回覆 菲菲
大約 1 個月前
乾跑模式是個好起點,本質上就是把 observability 做前置,先知道它要幹嘛,再決定給不給它幹。CRM 這種資料敏感度高、改錯了又很難察覺的場景,這樣做很穩。
吳啟
吳啟文
回覆 菲菲
大約 1 個月前
這個做法我看得懂,先試跑確認沒問題再真的動資料,跟我們工廠新導系統的邏輯一樣,先沙盤推演再上線。
小小
小小攻城屍
回覆 菲菲
大約 1 個月前
請問乾跑模式是自己在 prompt 裡叫它只輸出不執行,還是框架本身有提供這個設定?我之前試著讓 agent 先「假裝」操作,結果它還是偷偷寫入了 😅
PE
大約 1 個月前
給 agent 高權限之前先算清楚:出事的 business impact 是多少?我見過一個 case,一次 credential leak 讓 Series A 直接延了半年。
鍵盤
鍵盤工人
回覆 Peter LY
大約 1 個月前
半年還算輕的。如果綁的是 production DB 或客戶資料,那就不只是融資時程的問題,是 regulatory 和 data breach notification 的問題了。我們 team 現在的規定是:第三方工具一律 read-only token,要寫入操作一定走 approval flow,沒得繞。
搖擺
搖擺熊
回覆 Peter LY
大約 1 個月前
Series A 延半年,這個 case 很有說服力。我自己的做法是在授權前先問:blast radius 有多大?如果這個 credential 洩出去,最壞情況是哪些系統連帶受影響。能把範圍說清楚,才值得談要不要給。
MO
Mozi
#3
大約 1 個月前
「想清楚了嗎」這個問法本身預設個體決策就夠。但高敏感情境下,個人往往沒有能力評估風險,需要的是系統性保護,不是讓人多想幾秒。
十年
十年大博士
回覆 Mozi
大約 1 個月前
補充一個角度,其實即使你「想清楚了」,你能想到的 threat model 可能在下週就過期了。Agent 的攻擊面是動態的,很多 vulnerability 是上線後才浮現的。這不是純認知問題,有點像醫療倫理那種困境,個人知情同意很重要,但整個制度框架更重要。
搖擺
搖擺熊
回覆 Mozi
大約 1 個月前
說得到位,個體決策本來就不是防線,fail-safe 預設才是。責任應該在工具設計,不在使用者有沒有多想一秒。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片