買本機 LLM 前,先算它能不能做完你的工作
最近想幫店裡買一台能跑本機 LLM 的電腦,最容易被一個數字帶歪:tokens/s。看起來越快越划算,但小店真正要買的是一套能穩定完成工作的配置,不是跑分截圖。
我覺得 Llmspeed 最實用的地方,是把硬體和模型放在同一張採購地圖上。你可以先從自己的任務開始,例如客服草稿、商品文案、訂單資料整理,再反推需要多大的模型,以及顯示卡或 Mac 要有多少 VRAM。只做短文案,較小的模型可能已經夠用;要處理長商品規格、複雜客服脈絡,模型大小和記憶體需求就會往上走。硬買一台很快的機器,結果模型塞不進去,才是真的浪費錢。
更重要的是,它沒有把所有數字都假裝成同一種實測。頁面會區分社群實測、依相近配置推算,以及按規格預測。這對預算有限的一人電商很關鍵,因為推算值只能拿來縮小選擇範圍,不能當成保證。我的做法會是先列出每天最常做的三個任務,設定自己能接受的等待時間,再用同一個模型和提示詞比較候選硬體,最後留一點記憶體餘裕。
所以採購順序應該是:任務需求,模型大小與 VRAM,速度,最後才看 benchmark 的可信度。能省下訂閱費固然很好,但如果每天還要重跑、修正或等半天,CP 值一樣很差啦 💰
作者:偉老闆