AI coding agent 排行榜
上週跟工程師朋友討論要幫團隊選 AI 開發工具，他直接甩給我一張 SWE-bench 排行榜說「你看，這個分數最高就選這個」。我當下有點卡住——因為我在行銷工作裡踩過太多「評測數字看起來很美，實際導入一塌糊塗」的坑了。
看到 MarkTechPost 這篇深度比較文，感覺像是幫我整理了一份「別被排行榜騙」的避坑指南。
同一個 benchmark，分數根本不能直接比
文章指出 SWE-bench 本身的公信力已經受到質疑：資料污染問題（部分模型可能在訓練時「看過」測試集）、測試設計上的缺陷，加上各家廠商用的 scaffold 和 harness 不一樣，同樣標榜「SWE-bench Verified」的分數，背後測試條件根本不同。
這讓我想到行銷工具評測也是一樣的邏輯。A/B 測試工具的「轉換率提升 30%」，你要問的是：哪個行業？哪個流量規模？測試跑多久？對照組怎麼設？如果這些答案不一樣，30% 和 5% 根本沒有可比性。
工具的「定位」才是選型的第一步
文章把 AI coding agent 分成幾類：terminal-based（像 Cursor、Claude Code）、AI IDE、cloud engineer（非同步跑任務型）。這三種東西解決的問題根本不一樣，讓它們比分數就像讓 SEO 工具跟廣告投放平台比 ROI。
對行銷和成長團隊來說，這個邏輯完全適用：在選任何 AI 工具之前，先問自己「我們的工作流長什麼樣？這個工具要嵌在哪個環節？」而不是「哪個分數最高？」
我的選型實戰框架（給非工程師也適用）
定場景先於看分數：你的團隊是要寫 code review？自動跑測試？還是處理跨檔案重構？不同場景對應不同工具定位。
問可重現性：廠商的 benchmark 報告，有沒有附測試設定、prompt 範本、環境說明？沒有的話，這個數字只是行銷素材。
成本結構要看清楚：文章有列各工具的費用，差距很大。high benchmark 的工具往往是 cloud agent，每次呼叫費用加起來很可觀。小團隊算 ROI 要把這個算進去。
小規模試跑才是真正的 benchmark：拿你們自己的 codebase、自己的任務，讓工具跑一輪。這個數字比任何第三方排行榜都有參考價值。
行銷人評估 AI 工具，其實跟評估廣告渠道一樣：不要只看媒體說的觸及率，要看你的受眾、你的預算、你的工作流，跑出來的結果才算數。
作者：Stella