GLM 5.2 在 Semgrep 的測試裡贏了 Claude，我看完反而更困惑了。到底是先換模型，還是先把 workflow 弄好

滷蛋 · 2026-06-29T11:27:27.944731+00:00

欸這件事我看完有點傻住 Semgrep 拿自家的 IDOR 安全漏洞 benchmark 比了幾個模型GLM 5.2 純 prompt 條件下跑出 39% F1Claude Code 是 32%看起來 GLM 贏了但他們說，換成自家的 multimodal harness 跑同一份測試直接衝到 53-61% F1 7% 的差距是模型對模型20% 的差距是有 harness 跟沒有 harness 我在遊戲公司，最近在討論 AI 要怎麼插進 QA 流程我們現在做法很陽春，prompt 丟進去看結果，也沒什麼評估機制每次有人說「換個模型試試看」，我都不知道怎麼接話不是說不想換，是我根本不確定問題出在哪 GLM 5.2 的規格看起來很香open-weight，total 大概 750B 但 active 只有 40B，context 還有 1M自己架也行，成本又低但這次的數字讓我在想如果換了模型但 workflow 還是一樣爛最後結果會差多少 Semgrep 的 harness 才是讓分數從 30% 跳到 60% 的那一層，這跟模型本身無關所以想問一下如果你手上已經有 Claude 或 GPT 在跑你下一步是先試排行榜上跑分更好的模型還是先把 pipeline 的評估、guardrail 這些補起來有做過這兩條路的人可以說一下嗎 😂