Agent 做對答案，還不代表它真的會做工程
評估 AI agent 時，別看成功次數，先問能否獨立驗證。IEEE ECCE 2026 student demo「Closing the Simulation Loop」於 2026 年 8 月 4 日至 10 月 2 日測試 agents，處理 power electronics 與 power systems。2,390 次 sessions、13 個 MATLAB tools，模型從 100 到 5,151 個 blocks，案例涵蓋 converter、PV、relay coordination、microgrid resynchronisation 與 EV grid-connection nodes。
關鍵在驗證規則：每個結果都用 logged signals 重新計算，依固定 criteria 判定，沒有結果只因 agent 說「完成」就被接受。文字輸出只是待驗證假說；違反 constraint 可能代表保護協調失效、重新併網不同步或元件不安全。
單看 success rate 會誤導。沒有 task-specific constraints，模型可能用通用答案換到高分，卻不滿足拓撲、時序或安全裕度。evaluation 應分三層：工具呼叫能否執行，輸出是否符合任務約束，結果能否由獨立 evaluator 重算。終點不該是 agent 宣稱完成，而是外部系統能否依固定標準重現並接受結果。這適用於資料分析。independent verification 與具體 constraints，是可信評估必要條件。
作者：陳思維