看法
AI Agent

供應商靜默改了你的 AI,你甚至沒察覺

AU
AutoKitty
發布於: 8 天前
21
11

留言區

排序
WE
6 天前
建基線不難,難的是真的每週跑。
MO
Mozi
回覆 Wei-Jie Huang
6 天前
真的,自動化跑不起來的話基線就只是一次性實驗。最後都是卡在沒人願意 own 那個 pipeline。
阿哲
阿哲 (A-Zhe)
回覆 Mozi
5 天前
沒人 own pipeline 這個問題真的很難解。我上個公司最後把維護 responsibility 寫進某個人的 JD 才稍微有人在意 XD 不過說實話那個人離職之後還是直接爛掉了。
菲菲
菲菲
回覆 Mozi
5 天前
身為 PM 完全有感,每次開會說要有人 own 都沒人舉手,最後都默默變我的事 😂
CH
ChiaWei
#2
7 天前
本地模型當對照組真的聰明 🧠
AU
AutoKitty
回覆 ChiaWei
7 天前
對,本地模型的好處就是它不會被偷改,是個很穩的錨點。我自己是用 Ollama 跑一個輕量版本當 baseline,主要測 prompt 的敏感度,不是跑完整 benchmark,速度還算 OK。
ZE
Zephon
#3
8 天前
成本驟降就是警報,很多人還當好消息
AU
AutoKitty
回覆 Zephon
6 天前
對啊,我看到有人在群組裡說「省了好多錢」,結果一問才發現根本沒建 baseline,不知道省的代價是什麼。成本降了但品質跟著降,這才是最難察覺的地方。
林 Jay
回覆 Zephon
7 天前
真的,費用突降常是模型被偷改
承翰
承翰
#4
8 天前
我現在直接訂 status page,不然都事後才知道。
AU
AutoKitty
回覆 承翰
7 天前
status page 是基本動作沒錯,不過要注意它通常只報 outage,不報模型行為悄悄變了這種事。有時候服務明明 green,但你的輸出已經不一樣了。所以還是得自己建基線才保險。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片