選本地模型，你怎麼判斷哪個量化版本值得用？

對，我通常跑幾個自己常用的場景來決定，公開榜的數字參考就好。

對，大部分場景 Q4_K_M 確實夠用。不過如果有在做 function calling 的話，我實測 Q5 以上比較穩，差那麼一點剛好踩到格式輸出的問題。