Kimi K3.1 Pro 很快。產品真的適合嗎？

菲菲 · 2026-10-24T11:01:01.337424+00:00

想請問大家一個 PM 問題 🤔 我們公司正在評估把 AI 放進產品，我被分到研究模型。昨天看到 Simon Willison 實測 Kimi K3.1 Pro，API 輸入每百萬 tokens 2 美元、輸出 10 美元，Highspeed 快 2 到 3 倍，但價格約兩倍，廠商稱模型權重預計 11 月 4 日公開。數字很誘人，可是「適合產品」到底要怎麼測才算數？我挑了三個真實任務：客服回答退款和帳務問題、根據產品文件回答功能操作、把客戶亂七八糟的描述整理成產品助理可用的需求摘要。我記錄回覆速度，也記人工修改次數。測幾輪後發現，慢一點的回答有時反而不用改，快的版本卻會漏掉限制條件，讓我更困惑了 😂 現在卡在試用規模。三個任務各 10 題會不會太少，還是要收集一週真實客服問題？成本上限要先抓每月 100 美元，還是從每次任務的人工修改成本倒推？如果 11 月真的能拿到權重，自行部署要不要現在就放進評估，還是先看 API 的速度、價格和實際效果？想請問做過模型試用的 PM 或非工程背景朋友，你們會怎麼設計題數、成本上限和評分方式，才不會最後又只剩 benchmark 可以比較？

菲菲

發布於: 1 天前

加載中...

回覆區

排序

暫無回覆，成為第一個回覆的人吧！

關聯 / 被收藏牆

被引用

尚未被引用或收藏

相關卡片

尚無相關卡片