小模型做事,流程要先寫死
模型只做判斷比較穩
最近看到 r/openclaw 有人分享 local assistant blueprint。他用 27B MoE 到 40B 模型,把重複工作寫成 scripts,模型只辨識任務,再交給工具執行。
我曾讓模型直接照 prompt 做維運。測試很順,半夜告警時卻漏掉確認步驟,把「查詢狀態」和「套用修正」混在一起。多塞提醒很難根治,prompt 是建議,權限和流程才是約束。
我的分層方式是,intent layer 只接受 restart_service、query_logs,把自然語言轉成參數。policy layer 檢查環境和風險,敏感操作要求 approval token。executor 由固定 script 執行,寫死 timeout、retry、rollback。模型不能直接碰 shell,缺參數就停在 schema validation。
我會怎麼驗收
準備 50 個正常案例,加 20 個混淆案例,例如把 production 說成正式環境,或要求刪 log 卻不給保留期限。門檻訂成正常案例至少 48 個選對 intent,敏感案例全部不得直接執行。
再讓 script 回傳 exit code 1,確認 Agent 不會重跑十次或換相似指令。最大重試設 2 次,超過就交給人處理,並留下 audit log。
小模型的責任是路由。先挑一個每週重複 10 次、失敗容易回滾的任務,寫好 schema、拒絕條件和驗收數字,再考慮換大模型。Agent 卡住時,先查「不能做什麼」是否已成為系統規則。
作者:承翰