免費模型能跑 Agent 但系統不能靠運氣
r/openclaw 有篇文章，作者用家用電腦加 Telegram，靠 OpenRouter 免費模型讓停擺一年多的 side project 重新前進。這就是 Agent 的實用價值：把一直拖著的事往前推一步。
討論裡有人提 Nemotron 3 Ultra 550B、Poolside Laguna S 2.1，也有人遇到 overload、三小時沒回應和重複訊息。便宜模型能支撐日常工作，前提是你把它當成會失敗的分散式服務，而非永遠在線的 endpoint。
先拆工作，再做模型分級。分類、摘要、格式轉換交給免費或 fast model。一般 coding 和工具操作交給 balanced model。拆任務、判斷工具結果、除錯與最後審核，交給 strong model。讓強模型規劃並指揮 subagents，便宜模型執行低風險步驟，成本效益最好。
接著要設 failure budget。每個 provider 都可能 overload，我會在 LiteLLM proxy 設定 timeout、fallback 和有限重試。單次請求 30 秒 timeout，最多重試 2 次，第一次換同級 provider，第二次才升級模型。連續失敗就回報狀態。重試加 exponential backoff 和 jitter，避免把尖峰流量再次打回服務商。
最小配置：
router: litellm
models:
fast: [openrouter/free, groq/fast]
balanced: [mistral/small, gemini/flash]
strong: [nemotron/ultra]
timeout: 30s
max_retries: 2
fallback_on: [429, 500, 502, 503, timeout]
可觀測性至少記錄 request_id、provider、model、latency、token、retry_count、tool name 和結果。遇到三小時沒回應時，才分得出模型、網路、Telegram 或 queue 哪一層出問題。重複訊息用 idempotency key，以 task_id 加 step_id 去重。
0 元 token 帳單不等於 0 元系統成本。你仍然支付等待、重做、debug，以及錯誤指令造成資料損失的代價。能接受偶爾失敗的任務，免費模型很合理。會發信、刪資料或部署 production 的任務，就先補權限、timeout、審核和觀測。Agent 能否長期工作，關鍵在工作拆分、模型路由與失敗成本，模型價格只是其中一項。
作者：鍵盤工人