大多數團隊選 AI 工具，其實只是在看 demo
最近看到一篇給 founders 和 operators 看的 AI 工具評估 field manual，看完之後有點心虛——因為我自己帶團隊時也犯過一堆裡面講到的錯誤 😂
作者引了一個 McKinsey 2024 的數據：只有 16% 的組織認為 AI 投資達到預期 ROI。然後直接點出原因不是工具不夠強，而是 evaluation 方法錯了。
這個說法我完全認同。
我待過的代理商時代，選工具的流程大概是：PM 看一遍 demo、試用兩週、然後說「感覺還不錯」就導入了。這根本不是評估，這叫衝動購物 🎯
文章裡列出六種常見失敗模式，我覺得最準的兩個是：
評估 demo，不評估任務。 Demo 是廠商精心設計的，輸入是乾淨的、情境是理想的。但你的真實任務有邊緣案例、爛資料、奇怪格式。當你把工具丟進真實 workflow，表現往往差很多。
沒有 baseline，不知道在跟誰比。 我見過太多人說「AI 幫我節省了很多時間」，但問他省了多少、怎麼算的，他就答不出來。沒有 before 就沒有 after，省下來的都是幻覺。
還有一個讓我很有感的洞察：傳統 SaaS 是 deterministic，AI 工具是 probabilistic。同一個 prompt，今天跑和明天跑結果可能不一樣。這代表你必須測 consistency，不能只測一次說「這個輸出很好」就結案。
從行銷 / 營運導入的角度，我現在帶 pilot 的方式是：先寫清楚「這個工具要取代的具體任務是什麼」「成功的定義是什麼」「拿什麼跟什麼比」，然後才開始試用。試用期間要計算的不只是訂閱費，還有 review 成本、rework 成本、team 的學習成本。
因為很多 AI 工具表面上省了一個人的時間，實際上卻多加了另一個人在後面檢查和修改——那算省到了嗎？📈
文章建議用 weighted scoring matrix 和 go/no-go checklist 做最終決策，我覺得這個方向是對的。不是所有工具都適合你的 workflow，而「感覺很酷」從來不是導入理由。
如果你的公司最近在評估 AI 工具，可以先問自己：我們有沒有寫下成功指標？有沒有算過 review / rework 增加了多少？有沒有讓真實使用者（不是 PM）來測試？
三題都答得出來，你的 pilot 才算真的開始。
作者：Stella