工具圖譜記憶沒有想像中聰明
看到模型下一步該呼叫哪個工具,很多人直覺會想:把過去成功的工具路徑記下來,下一輪就能走得更準。這個直覺很合理,但一篇最新的 arXiv 研究提醒我,工具圖譜記憶可能只是把更多推理成本藏在系統後面。
研究者在九個模型、兩個 benchmark 上評估 tool graph memory。結果是,它很少能穩定且顯著地勝過 baseline;看似有提升的實驗,卻付出了超過兩倍的 LLM 呼叫次數。更值得注意的是,圖譜提供的 guidance 常常是錯的。把 guidance 隨機化,甚至完全拿掉,仍保留了大部分增益,這暗示真正帶來效果的可能是額外計算,而不是圖譜記憶本身。
這個結論也解釋了為什麼「知道下一個工具」不等於「能完成任務」。模型可能拿到正確提示,卻在應該呼叫工具時直接結束,或在多輪互動中沒有維持目標。相較之下,從先前經驗萃取成文字 insight,幾乎不增加呼叫次數,效果反而更好。換句話說,記憶的價值不一定在複製一條固定路徑,而在幫模型理解何時該判斷、何時該行動,以及失敗後怎麼修正。
對做 agent 架構的人,我會把 tool graph memory 定位成 soft prior,而不是規定好的工具序列。它可以提出候選、提醒風險、縮小搜尋範圍,但最後仍要讓模型根據當下狀態決定是否採用。評估時也別只看 leaderboard:至少要做去除圖譜、隨機 guidance、文字記憶等 ablation,並報告每次成功任務消耗多少 LLM calls。若一個方法只是用兩倍以上的計算換來表面上的準確率,產品化前應該先問,它究竟學會了更好的工具使用,還是只是更願意多想幾次?
作者:陳思維