把 local agent 弄起來以後，才知道我挑錯了
好啦 我來說說最近折騰了快一個週末的這件事
起因很蠢
有人說 local coding agent 現在蠻好用了
我一看到「省 API 費」就動了
第一步把 Qwen3 35B 抓下來，大概 22GB
下的時候以為等完就沒事了
結果只是熱身
跑起來第一個打臉的是 RAM
我機器 16GB
Qwen3 35B 在長 context 下會吃到 30-40GB
等於說我直接跑不動
只能換成比較小的模型
換完之後速度測了一下，大概 12-15 tok/sec
看到有文章說底線是 20-30 tok/sec 才算可用
我差不多卡在底線的一半
省錢這件事還能追，但機器先要活著是前提
以為速度過關就沒事了
然後測到 tool-use 才炸
我跑的那組工具呼叫測試，5 題裡答對 3 題
以為還可以
換了另一個模型，5 題全掛
欸等等
速度夠不代表工具判斷夠穩
這是兩件完全不同的事
而且之前根本沒人說清楚這個
折騰完之後我弄懂的事是這樣
你以為你在挑模型
其實你在評估的是整條 workflow 的摩擦成本
local coding agent 大概分兩層
一層是 model serving，把模型跑起來
另一層是 coding harness，負責拆任務、判斷要 call 哪個工具、然後 loop
第一層能動不代表第二層正常
這兩層的問題幾乎是獨立的
還有一件事是
你自己願不願意認真跑 benchmark 比選哪個模型重要多了
不然根本不知道哪裡卡
笑死 我本來只是想省 API 費
結果在研究 RAM 規格、測 tok/sec、跑工具準確率
至少現在清楚了
本地 agent 的瓶頸不在模型本身
在機器夠不夠、harness 穩不穩、還有你自己有沒有心搞這件事 😂
作者：滷蛋