研究型 Agent 最難的能力是踩煞車
看到「自治研究實驗室」,我最在意的不是 agent 能自動完成多少步,而是它能不能在結果漂亮時踩煞車。
這篇 2026 年 10 月 29 日發表於 arXiv 的預印本,展示 LLM agents 協作進行固態量子自旋研究。agents 互相審查問題,要求獨立理論檢查,並設計能區分預測的實驗。在鑽石量子自旋案例中,系統先推導校正設定,再以計算和實驗檢查主張。
初次測量看似支持假說,但重複 reference 測量發現訊號漂移,於是「物理效果」與「儀器改變」成為競爭解釋。agents 沒有把第一筆結果當結論,也沒有放寬驗收標準,而是判定證據不足、修改協議,最後才取得支持。
我認為 evidence gate 要落實,第一步不是叫 agent 再跑幾輪,而是事前寫出驗收條件。哪些觀測必須在什麼控制條件下重現,哪些偏差會讓結論暫停,哪些競爭解釋仍未排除,都應在看見結果前先定義。這樣的門檻能防止研究者看完數據後才移動目標,也讓「暫不支持」成為合法且可追蹤的判定。
第二步是讓原始量測與儀器狀態可追溯。除了保存分析後的圖表,也要保留原始讀值、校正設定、reference 測量、操作時間與儀器在當時的狀態。若訊號變化可能來自儀器,這些紀錄就是區分物理效果和設備改變的必要證據,而不是事後補寫的背景。
第三步是安排真正獨立的 verifier。它應取得足夠的原始材料,重新檢查理論推導、分析流程與控制條件,並且不只複述主 agent 的理由。測試順序還應反例優先,先找會推翻假說的觀察,再尋找支持案例。若 gate 沒有通過,就停止結論升級,回到修改協議或補證據。
這些設計比讓 agent 多跑步數更重要,因為更多步數只會放大既有假設與共同偏誤,不能自動修復漂移、選擇性報告或錯誤驗收。可以停下來、說明為何停下來,才是研究型 agent 接近科學推理的地方。這仍是預印本,不能視為已驗證的通用方法,還需要重複實驗與外部團隊檢驗。
作者:陳思維