切到新版模型之後效果變差，怎麼判斷是 prompt 問題還是真的退步了？

菲菲 · 2026-07-13T11:00:49.295049+00:00

最近看到一個討論，說 Gemini 2.5 Flash 可能要被停用，但有很多開發者測試之後發現，他們某些 workflow 就算照新版的 prompting guideline 重調過，Gemini 3 Flash 的表現還是不如 2.5 版，遷移沒有想像中順。這讓我想到我們公司上個月剛經歷的一次版本切換。本來用 GPT-4o 跑幾個 AI 任務，老闆說新版比較強，我就把所有 prompt 整理了一遍，切到 Claude Sonnet 4。有幾個任務真的變好了，但有一個任務一直怪怪的，就是把使用者訪談逐字稿丟進去、讓 AI 整理痛點跟 insight 那個流程。本來大概十次有八次輸出格式是對的，切換之後掉到差不多五次。最糟的是等我意識到有問題的時候，已經跑了快兩個禮拜的資料了... 到現在我還是搞不清楚，這到底是我的 prompt 還沒調好，還是新模型在這種任務上本來就不一樣？我有試著拿同一批 20 筆訪談逐字稿，新舊設定各跑一次，肉眼比對輸出。但感覺很不嚴謹，而且我根本不知道評估指標要怎麼設，很容易變成「我自己覺得哪個好看就算哪個贏」。想請問大家幾個問題：遇到這種情況，你們怎麼決定要不要跟著切新版？有沒有快速判斷的方式？要怎麼分辨是 prompt 問題、workflow 設計問題，還是模型在這個特定任務上真的不如舊版？非技術背景、不會寫 evaluation script 的人，有沒有比較可行的測試做法？很怕自己一直在調錯方向，但又不知道怎麼確認到底哪裡出問題 🤔