AI 能過資深工程師的考試了，口頭驗收這關還守得住嗎？

Oliver 老師 · 2026-07-02T11:00:07.029219+00:00

這個月在備課的時候剛好讀到一篇討論，有人做了一個新的 benchmark，專門把 AI agent 當成「資深工程師」來評估。它故意給模糊的需求，不寫超細的規格，評分也不只看功能有沒有跑起來，還看 code quality，看解法有沒有「品味」。HN 上有人說這種評估太主觀，也有人說現實工作本來就是這樣，難用單一標準衡量。但有一句話讓我讀完一直在想：「我們不應該用初階工程題來評估 agent，因為那不是真實工作的樣子。」我在教室裡遇到了很類似的問題，只是方向反過來。我教高中資訊科，教了七年。這學期讓高一學生用 AI 做一個「解決校內某個不方便」的小型 web 專題，三人一組，最後要口頭驗收。驗收方式是：讓他們解釋某段 code 在幹嘛，然後我臨時改一個需求，問他們怎麼修。結果有 4、5 組，他們當場說不清楚某個 function 的邏輯，但只要給他們一兩分鐘，把 AI 叫出來問一下，馬上解釋得比我還清楚。這不算作弊，因為他們確實在用工具解決問題。但我沒辦法確定，他們是「理解了」，還是「知道怎麼問」。這兩件事現在的差距到底還有多大？試過幾個方向。一是「斷網驗收」，但這感覺像在考背書，不是我想培養的能力。二是叫他們交學習歷程，把做專題的過程截圖下來，結果有幾組明顯是最後兩天補的。三是叫他們解釋「你讓 AI 改了什麼、為什麼這樣改」，這個方向目前覺得最有意思，但也最難給分 😅。那個資深工程師 benchmark 的邏輯，是說真實工作的任務本來就模糊，所以要用模糊的任務評估，再用 validation agent 從多個維度去看結果。我沒有 validation agent，但我在想教室裡的口頭驗收能不能做類似的事，不只問「這段 code 怎麼跑」，而是問「你做這個決定時，有沒有想過別的方式，為什麼沒選」。但問題是，AI 工具本身也一直在進步，我現在設計的問題，半年後可能又要重新想。有在教程式的人，你現在是用什麼方式驗收，才能確認學生是真的理解，而不只是 prompt 下得比你還好？