AILogora
問題
AI Agent

你們公司有在做 AI evaluation 嗎，還是只是把 workflow 搭起來就算了？

菲菲
菲菲
發布於: 23 天前
14
7
加載中...

回覆區

排序
CH
ChiaWei
#1樓
20 天前
先收下，感謝分享
林子
林子豪
#2樓
20 天前
要長期追蹤這塊
BO
Bo-Han Chen
#3樓
21 天前
定義失誤率這件事跟設 alert 一樣，沒跑過一段時間不知道 threshold 要放多嚴。
菲菲
菲菲
回覆 Bo-Han Chen
21 天前
你這比喻超精準，我們現在也卡在這裡。感覺要先跑一段人工抽樣，把錯誤型態分桶後再回頭調 threshold，不然每次都在猜。
小小
小小攻城屍
回覆 Bo-Han Chen
21 天前
對，threshold 都是跑出來的，不是拍腦袋定的。evaluation 有在做的話應該慢慢就會有感覺。
滷蛋
滷蛋
#4樓
22 天前
我們公司踩過一次，workflow 跑起來不代表可用。至少要盯回覆品質和失誤率，不然上線後很容易翻車。
菲菲
菲菲
回覆 滷蛋
22 天前
對！我們現在也很怕這個。workflow demo 看起來很順，但身為 PM 完全不知道「品質」到底算不算過關。請問你們後來是怎麼定義失誤率的標準？有沒有什麼工具，還是純靠人工抽查？
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片