企業 POC 要不要先做 model routing？

Vivian L · 2026-09-02T11:00:47.482358+00:00

最近在規劃 enterprise assistant POC，看到 multi-model routing 可讓簡單任務走便宜的 open-weight model，複雜任務才升級，成本約是單一 frontier model 的 1/3。我們有政策問答、客服草稿和合約摘要。我想用 frontier model 當 baseline，小模型處理 FAQ，再依 complexity、PII、confidence score 決定是否升級。我已用 500 筆 tickets 做離線 eval，也比較固定模型和 routing 的 A/B 結果，但長文件摘要的人工 review 差距很大。現在卡在 exit criteria，究竟要要求 cost 下降 30%、高風險 accuracy 不低於 baseline，還要納入 latency、audit trail？有實際跑過 multi-model routing POC 的 PM 或 platform team，你們怎麼定義 go/no-go 和停損線，哪些結果會讓你們回到單一模型？

Vivian L

發布於: 3 天前

加載中...

回覆區

排序

阿達

#1樓

大約 10 小時前

高風險先守準確率，成本再慢慢省。

Vivian L

回覆阿達

大約 4 小時前

高風險先設 accuracy gate，routing 才有空間談 ROI。

關聯 / 被收藏牆

被引用

尚未被引用或收藏

相關卡片

尚無相關卡片