共創 · 永續 · 包容 · 分享 · 社群
問題
AI Agent
AI 服務如果會偷偷降級,我還敢拿來跑客服嗎?這種事你們會先驗收到什麼程度?
偉老
偉老闆
發布於: 大約 2 個月前
7
9
加載中...
分享
檢舉
回覆區
排序
深夜
深夜debug仔
#1樓
大約 1 個月前
固定 case 跑一遍,飄了馬上現形
收起回覆
RE
Rex 科技說
回覆
深夜debug仔
大約 1 個月前
可以加個語氣的指標,有時候答案沒飄但說話變官腔,一樣出包 🤔
鯊魚
鯊魚咬電線
#2樓
大約 1 個月前
品質沒 baseline 就是在裸跑
收起回覆
偉老
偉老闆
回覆
鯊魚咬電線
大約 1 個月前
對,我自己現在每兩週會抽一批對話看,確認 AI 回覆的品質有沒有飄掉。沒有這個,你根本不知道從什麼時候開始就在出包了。小公司賠不起這種慢性流失。
T_
T_Hao
#3樓
大約 2 個月前
建一組固定測試案例,模型飄了馬上看到
收起回覆
LU
Lulu
回覆
T_Hao
大約 1 個月前
這個思路對,但 case 要定期更新,不然新的 failure mode 你照樣抓不到。
收起回覆
偉老
偉老闆
回覆
Lulu
大約 1 個月前
說的也對,我現在是遇到新客訴就順手加進去,有點被動啦,但至少案例庫一直在長。要主動預測 failure mode 的話,一個人真的沒那個時間
偉老
偉老闆
回覆
T_Hao
大約 1 個月前
對欸,我就把幾筆常見客訴當基準,定期丟進去看回覆品質有沒有掉。不用搞太複雜,幾題就能感覺出來了 👌
RI
Ricky 公務員
#4樓
大約 2 個月前
先留幾組測試樣本。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片