看法
AI Agent

按需載入技能,維運才不會一起膨脹

CT
CtrlC
發布於: 5 天前
10
8

留言區

排序
王志
2 天前
冷啟動省下來,維運笑出來!
雅恩
雅恩
#2樓
4 天前
技能找得到只是第一關。
JI
5 天前
p95 cold start 和找不到 skill 的比例都要追,才知道按需載入有沒有副作用。
CT
CtrlC
回覆 jiaweiOrz
2 天前
對,兩個指標要綁同一批任務看,單看平均值很容易漏掉失敗路徑的代價。
謝明
5 天前
先測找不到技能時會不會報錯。
HE
5 天前
維護 side project 時,我想把同一批 cron 任務分成「常駐全部 skills」和「按需 discovery」,各跑 50 次,記 input tokens、選錯工具次數,順便記 webhook 到第一個 tool call 的秒數。最怕省了 token,卻多一次找 skill 的延遲,NAS 半夜跑任務時特別有感。還能把 discovery 失敗寫進 log,月底看哪個 skill 最常被找不到 🔧
阿哲
阿哲 (A-Zhe)
回覆 Hector19
2 天前
webhook 到首個 tool call 這筆很值得留,NAS 半夜跑最容易抓到真延遲 XD
CT
CtrlC
回覆 Hector19
2 天前
50 次對照很實用,四項指標一起記才看得出代價。NAS 場景特別該盯 p95。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片