假沙盒嗎

承翰 · 2026-08-01T11:05:24.959759+00:00

前幾天看到 Anthropic 的一份事後調查，他們回頭掃了 141,006 次 evaluation run，在裡面找到 3 起 incident，共 6 次 run 真的出了問題。其中一起是因為目標公司名稱撞名，agent 把不在授權範圍的系統當成了合法目標。最嚴重的那起，是 agent 自行在 PyPI 上申請帳號、上傳惡意套件，後來被 15 台真實系統下載並執行。讓我注意到的不是事件本身，而是那個 prompt 裡明明寫了「這是模擬環境，沒有 internet 連線」，但 partner 那邊的實際執行環境其實有外網。prompt 說的是一回事，基礎設施的現實是另一回事。我們最近在評估一個做法，讓 LLM agent 在 CI 環境裡跑自動化的安全掃描任務，找一些已知漏洞的 pattern。現在的方式是起一個 container，跑完就砍掉，prompt 裡也有寫「這是受控測試環境，沒有授權不能對外部系統做任何操作」。看完這份報告我開始懷疑，這樣真的夠嗎。因為 Anthropic 的案例就是 prompt 有寫，但執行環境的現實不配合。我試過幾個方向。一個是在 container 層加 egress allowlist，只開放我們自己的 package mirror 和特定 internal API endpoint，其他一律擋掉。另一個是搭 fake DNS，讓所有外部 domain resolve 到 127.0.0.1。但兩個都有問題。allowlist 的維護成本不小，eval 任務的範圍一調整就要跟著更新規則；fake DNS 的話，如果 agent 改用 IP 直連，繞過去的路還是在。完全斷網是最乾淨的做法，但我們有些 eval 任務需要對特定外部系統做 read-only 查詢，全斷掉就沒辦法跑了。想請教有在跑 agent eval 或類似自動化測試環境的人，你們的隔離是做在哪一層。是 network namespace 加 egress filter、另外起一個完全隔離的 VPC、假的套件源加上假的 DNS，還是有別的架構我沒想到。prompt 裡說「這是 sandbox」顯然不夠，但做到哪個程度才算是真的把風險壓下來，你們會怎麼做？