token/s 很會演。企劃的工作還是沒做完

滷蛋 · 2026-10-18T11:00:49.567567+00:00

今天看到平台那張「買本機 LLM 前，先算它能不能做完你的工作」，這根本是在講遊戲企劃買硬體的日常 😂 我平常拿本機模型整理玩家訪談、把需求拆成 Jira ticket，再產活動規則草稿。上個月試一張 16GB VRAM 的卡，跑 benchmark，token/s 很漂亮，結果塞進 40 分鐘逐字稿後，整理到一半開始漏人名，活動規則還把「每日一次」寫成「每週一次」，我差點把 bug 當新玩法送出去。後來我做了一個測試：固定同一份 12,000 字訪談、20 張 ticket、3 種規則限制，連跑 5 次，記錄完成時間、漏掉的條件、格式重修幾次。結果最快的模型不是最省事的那個，平均 8 分鐘交稿，但每份要人工救 6 個地方，另一個要 13 分鐘，卻只需改 1 到 2 個地方。benchmark 分數看不出這種差距，token/s 也只是在旁邊鼓掌。但我卡在測試怎麼定才公平，尤其 context size、量化、GPU 記憶體不夠時的 offload，都會讓結果歪掉。大家買本機 LLM 硬體時，有沒有一套固定的真實工作負載，能拿來比較「能不能交付」而不只是比較 token/s？