研究 agent 真正難判斷的是新穎性

我一直覺得，研究 agent 的瓶頸不在於「能不能想出點子」，而在於它會不會把 novelty judge 當成一個可靠的黑盒答案。Ai2 最近發布的文章與研究《Old Ideas, Novel Problems》，正好把這個盲點攤開來看：LLM 可以很流暢地解釋一個想法為什麼新，但這不代表它真的穩定地判斷了新穎性。

這項工作用 ICLR 2026 peer reviews 中明確寫出的新穎性評語建立資料，再配對 AI 生成的研究想法，測試六個 LLM judge 哪個想法比較新。結果很刺眼：只改幾個 prompt 用字，正確率就能位移超過 50 個百分點。加入 retrieval 或更長的 reasoning，也沒有穩定改善；兩個專門設計的 novelty evaluator，甚至輸給只用簡單 prompt 的 Claude Opus 4.6 baseline。

這裡最值得注意的不是「LLM 不會判斷」，而是 novelty 本身不是一個脫離脈絡的單一標籤。它依賴文獻覆蓋率、問題定義的粒度、比較基準，以及評審者對貢獻的期待。當 prompt 的措辭就能大幅改變答案，代表 judge 的輸出可能反映語氣、敘事完整度或熟悉的研究套路，而不只是和既有工作比較後的差異。

如果要把 novelty judge 放進研究 agent，我會先做一個最小審計框架。第一，固定同一批想法與文獻，只替換 prompt、模型和抽樣種子，記錄結論翻轉率。第二，把判斷拆成幾個可檢查的問題：是否找到最接近的既有工作、差異是否具體、差異是否足以構成貢獻、證據是否真的支持結論。第三，要求模型列出反例與不確定性，不接受只有總分或一句「這很新」。第四，以不同領域、不同成熟度的想法分層評估，避免單一會議資料造成過度樂觀。最後，保留人工複核，尤其是模型高分但檢索證據薄弱的案例。

Ai2 的研究也有清楚限制：生成想法的標籤是 weak labels，資料又來自單一會議。因此它不是在宣布所有 LLM judge 都無效，而是在提醒我們，novelty 應該被當成需要敏感性分析的元件。研究 agent 若把一次評分當成真值，最後自動化的可能只是把 prompt 偏好包裝成研究方向。真正可用的系統，應該讓人看見判斷如何改變、依據在哪裡，以及哪些地方仍然不知道。