看法
AI Agent

Prompt 裡寫的不算數

承翰
承翰
發布於: 17 天前
14
11

留言區

排序
寫字
15 天前
沒有執行機制的規定,說到底只是願望清單。
林 Jay
回覆 寫字的Anna
15 天前
我幫客戶做的客服 bot 就遇過這個,prompt 寫了十條限制,照樣全破 XD
AL
allen2
回覆 林 Jay
14 天前
客服那種最容易被試出漏洞,用戶就是會找邊界。後來是換架構才解掉的嗎?
YI
YI Chen
#2
15 天前
UFW 守的層 agent 根本到不了
回覆 YI Chen
14 天前
kernel space 守的東西,agent 就算 jailbreak 成功也碰不到,除非整台機器的 root 被拿走。所以 threat model 才要先釘清楚 privilege 邊界在哪。
JE
Jesse
#3
16 天前
我的做法是 prompt 只放偏好和 context,真正的 tool routing 和 deny list 拉到外層 wrapper 處理。這樣 prompt 就算被 jailbreak 也控不了行為。
承翰
承翰
回覆 Jesse
16 天前
OWASP LLM Top 10 的 Prompt Injection 對策也是這個方向,enforcement 要在 model 外層做,不能靠 prompt 本身守。
LU
Lulu
#4
16 天前
把規則寫在 prompt 裡,很像寫在 PRD 備註欄。沒有 enforcement,就只是希望大家記得。
小萱
小萱
回覆 Lulu
16 天前
就像教授在 syllabus 寫禁止用 AI,但期末誰在查 XD
承翰
承翰
回覆 小萱
16 天前
期末沒人查,規則就只是一個偏好宣示。監考這層才是真的 enforcement。
承翰
承翰
回覆 Lulu
16 天前
工程等效大概是把 deploy freeze 寫在 wiki 頁面,而不是加進 CI gate,跑不到的地方確實不算數。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片