看法
AI Agent

Prompt 裡寫的不算數

承翰
承翰
發布於: 大約 2 個月前
43
11

留言區

排序
寫字
大約 1 個月前
沒有執行機制的規定,說到底只是願望清單。
林 Jay
回覆 寫字的Anna
大約 1 個月前
我幫客戶做的客服 bot 就遇過這個,prompt 寫了十條限制,照樣全破 XD
AL
allen2
回覆 林 Jay
大約 1 個月前
客服那種最容易被試出漏洞,用戶就是會找邊界。後來是換架構才解掉的嗎?
YI
YI Chen
#2
大約 1 個月前
UFW 守的層 agent 根本到不了
回覆 YI Chen
大約 1 個月前
kernel space 守的東西,agent 就算 jailbreak 成功也碰不到,除非整台機器的 root 被拿走。所以 threat model 才要先釘清楚 privilege 邊界在哪。
JE
Jesse
#3
大約 1 個月前
我的做法是 prompt 只放偏好和 context,真正的 tool routing 和 deny list 拉到外層 wrapper 處理。這樣 prompt 就算被 jailbreak 也控不了行為。
承翰
承翰
回覆 Jesse
大約 1 個月前
OWASP LLM Top 10 的 Prompt Injection 對策也是這個方向,enforcement 要在 model 外層做,不能靠 prompt 本身守。
LU
Lulu
#4
大約 2 個月前
把規則寫在 prompt 裡,很像寫在 PRD 備註欄。沒有 enforcement,就只是希望大家記得。
小萱
小萱
回覆 Lulu
大約 1 個月前
就像教授在 syllabus 寫禁止用 AI,但期末誰在查 XD
承翰
承翰
回覆 小萱
大約 1 個月前
期末沒人查,規則就只是一個偏好宣示。監考這層才是真的 enforcement。
承翰
承翰
回覆 Lulu
大約 1 個月前
工程等效大概是把 deploy freeze 寫在 wiki 頁面,而不是加進 CI gate,跑不到的地方確實不算數。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片