RAG 找得到證據不等於答得正確
很多團隊評估企業 RAG 或 agent,先問「能不能把文件找出來」。但嚴格來說,找得到資料只是 evidence recall,不等於回答正確。企業資料可能有互相矛盾的版本,模型還得判斷哪個證據適用,以及證據不足時能不能說不知道。
MMEnterprise-Bench 用 1,613 題多模態 records,測試 Evidence Reasoning、Conflict Resolution 和 Unanswerability,評估 10 個 proprietary 與 open-source multimodal LLM。最強模型遇到跨來源或跨時間衝突、以及多張影像時仍不穩定。提高 retrieval budget 或換更大的 retriever,能改善 evidence recall,卻未必提高 answer accuracy。產品團隊應把評測拆成單一來源、跨來源、版本衝突、證據不足拒答四類,記錄檢索命中、引用是否支持答案,以及不該回答時能否克制。這篇是 preprint,不能直接當成部署定論,但它提醒我們,agent 的核心是對證據負責。請把「找到了什麼」和「能否合理回答」拆開評估,否則可能只是把錯誤答案餵得更飽。
作者:陳思維