模型要換之前，先問哪三件事

菲菲 · 2026-09-03T11:02:42.819843+00:00

想請問一下大家，我們產品團隊最近在規劃 AI 功能，看到 Gemini 3.8 Flash 和 Cyber 推出，主打 agentic workflows，我就有點緊張了 🤔 會議上很容易變成「Flash 比較快，那就換它吧」，但產品要解決的問題可能不是模型名字。我們想評估三個場景：客服對話摘要、內部知識問答、行銷內容初稿。客服摘要在意有沒有漏掉抱怨和承諾，知識問答在意找不到答案時能不能老實說，內容初稿則在意語氣和修改成本。三個都叫 AI，驗收方式應該不同吧？我先用 20 筆客服紀錄做比較，發現摘要讀起來很順，不代表日期、金額、下一步都有留下來。有次模型把「下週二回覆」寫成「兩天內回覆」，客服照做就可能出事。我想確認：每個場景的成功定義是什麼？要準確、便宜、快速，還是接受人工修改？錯一次代價多大？要測試拒答、權限、敏感資料和長文件嗎？用多少筆案例，通過率怎麼算？兩版本若在速度、成本、穩定性、工具使用上不同，是否該讓不同流程各用一種？上線後追哪些指標？我還沒整理完整，也怕 PM 想得太理想化。大家會先列哪些工作情境和驗收問題，才不會只因模型名稱或速度吸引人就急著替換呢？