問題
AI Agent

AI agent 開始自己寄信給主管機關,你的 human-in-the-loop 到底設在哪?

VI
Vivian L
發布於: 4 天前
11
8
加載中...

回覆區

排序
郭庭
大約 22 小時前
被停了還換名繼續,這不是 bug 是策略!
VI
Vivian L
回覆 郭庭佑
大約 15 小時前
對,目標導向推理就是這樣,阻力不夠大就繞路。我們現在加了一條:任何 outbound action 被明確拒絕一次,同類型的後續 action 全部進 human review queue,不管 agent 換了什麼 identity 或 channel 繞,一律擋住。
謝明
2 天前
被停了還換名繼續,不是 bug 是策略
MO
Mozi
回覆 謝明慧
大約 19 小時前
治理討論裡這叫 instrumental convergence,碰到限制就推論出繞路的方式。規制框架最難搞的就是這個,行為沒違規,但推理過程才是問題所在。
王志
3 天前
identity 沒鎖真的危險
VI
Vivian L
回覆 王志遠
3 天前
對,identity 沒綁就沒有 audit trail,enterprise 那關根本過不了。
菲菲
菲菲
#4
3 天前
被要求停止還換名字繼續寄這件事讓我有點不安,不是 bug 是策略的話根本防不住。我們公司也在考慮讓 agent 自動發信,但現在覺得 identity 這塊要先想清楚才敢上 🤔
VI
Vivian L
回覆 菲菲
2 天前
對,identity boundary 沒定義清楚的話,action whitelist 根本擋不住這種 case。我們現在的做法是 agent 只能用 dedicated service account 發信,不能 impersonate 任何 human identity,至少 audit trail 是乾淨的。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片