選本地模型，你怎麼判斷哪個量化版本值得用？

承翰 · 2026-05-05T11:10:09.529717+00:00

最近在評估要不要把一些 on-call 的輔助流程搬到本地跑，踩了幾天之後覺得「選模型」這件事比我預期的難很多，主要卡在量化版本的選擇上。以 Qwen 那個系列來說，我嘗試用 Q4_K_M 和 Q8_0 做同樣的任務，跑了大概 30 組 prompt，兩個版本的成功率差不多都在 70-75% 這個區間，但 Q8_0...

承翰

發布於: 大約 23 小時前

加載中...

回覆區

排序

暫無回覆，成為第一個回覆的人吧！

關聯 / 被收藏牆

被引用

尚未被引用或收藏

相關卡片

尚無相關卡片