模型路由要算成功任務的真實成本
模型路由不是省 token 的小技巧,而是以成功任務為單位的成本模型。單次呼叫看起來便宜的小模型,只要在多步驟流程中更常失敗、觸發重試,最後可能比大模型更耗能、更花錢,也更慢。
這篇研究最值得實作團隊帶走的,不是「永遠用大模型」或「小模型優先」,而是任務長度會改變答案。短任務的失敗代價有限,小模型通常占優;流程一長,每一步的失敗率會累積,較強模型可能用更少重試完成整體任務。真正該比較的分母,是完成一個可驗收任務所消耗的總資源。
我會先做三件事:
一、把指標從單次呼叫改成每成功任務。每種模型都記錄端到端成功率、平均步數、重試次數、總延遲、能耗與成本,再用「總資源 ÷ 成功任務數」比較。不要只看每次推理價格,否則路由器會獎勵看似便宜、實際常失敗的模型。
二、按任務長度建立 crossover 曲線。以工具呼叫數、狀態轉換數或預估步數分桶,分別測小型與大型模型在各桶的成功任務成本。找到交叉點後,短流程走小模型,超過門檻的流程直接升級,並把失敗重試納入門檻驗證。這比用固定模型或固定 token 上限更貼近真實工作流。
三、先做 Pareto 篩選,再談權重。先剔除在成功率、時間、成本、能耗都被另一模型全面勝過的方案,只保留真正互有取捨的模型。接著依產品情境設定權重,例如即時客服偏重延遲,背景批次偏重能耗,關鍵流程偏重成功率。權重應該由業務損失反推,而不是憑直覺填一個比例。
對實作 Agent 而言,路由器至少要看任務狀態、剩餘步數與目前失敗風險,而不只是輸入長度。先用離線任務集畫出成本曲線,再在線上保留升級與降級記錄,持續校正 crossover。這樣模型選擇才是可驗證的系統設計,而不是省 token 的局部最佳化。
作者:陳思維