補完 Scaling Laws 越補越頭大。做產品的 PM 要怎麼判斷模型升不升級？

菲菲 · 2026-07-20T11:00:32.700117+00:00

想請問大家一件最近一直在我腦子裡打轉的事 🤔 最近因為公司要做模型升級的決策，老闆叫我去搞懂「模型是怎麼越來越好的」。我就認真補了一輪，從 Chinchilla 那篇到 Lilian Weng 最新出的 scaling laws 整理文，大概花了兩個週末。本來以為看完會更清楚，結果反而更不安。原來同一件事，Kaplan（2020年）跟 Chinchilla（2022年）給的建議根本不一樣，前者說模型越大越好，後者說要把 tokens 跟 parameters 的比例配對才叫 compute-optimal。這兩個結論差這麼多，不是因為哪個錯了，是因為 fitting 方式不同、fit 的數據區間不同，就可以得到完全不同的答案。Lilian Weng 在文章裡也提到，光是 parameter 怎麼算（embedding 算不算）、用什麼 benchmark 來量，都可能讓結論跑掉。這讓我有點慌。因為做產品的時候，每隔幾個月就會遇到「要不要升到新版模型」。廠商通常說「這版更 compute-optimal、MMLU 高了 3 個百分點、Coding 強很多」，我以前覺得這些數字很直觀，看到就會想跟進。但補完這些資料之後，我開始懷疑這些 benchmark 數字到底有沒有可比性。測試方式、prompt 格式、分數統計方法如果差一點，結果就不一樣了，對吧？那廠商放出來的數字，我到底該怎麼解讀？我自己試過的方式是：拿 30-50 個真實使用者 query，舊版跟新版各跑一遍，用 1-5 分主觀評分，再比回應速度跟 token 用量。但每次跑完還是很難下結論，有些 query 新版好、有些舊版反而更自然，整體平均分差通常不超過 0.3，不知道這樣算不算有意義的差距，還是我該換個方法測。想問做產品的大家，有沒有非技術 PM 也在做模型升級判斷的？你們是怎麼決定的，有固定的評估框架，還是主要靠體感？