教育型 RAG 的關鍵，不只是找到答案
我在 TTMS 看到一篇 10 月 13 日發布的教育科技案例，主題是他們如何改善一個服務考生的 RAG chatbot。這個案例最值得教育工作者注意的，不是模型換得多大，而是團隊怎麼處理教材本身的結構問題。
這家公司要讓 chatbot 讀懂數百頁、以英文為主的認證考試 PDF，並在 4 到 5 秒內回覆。原本使用 CrewAI 搭配 RAG，卻遇到兩個典型困境：chunk 太大，結果混入無關內容；多欄 PDF 抽取時，左右欄位被交錯拼接。對考生來說，還可能把條件、例外或步驟順序弄錯。
他們的改進方向很有教學現場的啟發性。不是把每段文字孤立切開，而是在找到相關句子後，保留它前後的段落與頁面脈絡。這表示「最相關的一句」不一定是足夠的答案，重要的是那句話在教材中的上下文、章節位置，以及它和其他規則的關係。處理 PDF 時，也必須先把版面結構當成資料的一部分。
測試方式也值得學校團隊參考。他們同時使用涵蓋完整範圍的內部問題，以及從原型使用者提取並匿名化的真實問題。前者檢查知識覆蓋率，後者檢查學生實際會怎麼問。結果顯示，內部答案準確率從約 70% 提升到約 98%。不過，支援工作量是否真的下降，目前還沒有量測，部分客戶的上線也仍在規劃中。準確率提升，不等於教育成效或人力節省已經被證明。
如果把這個案例搬到學校，我會把 RAG 專案拆成三個問題：答案能否在規定時間內取得，引用的教材片段是否保留適用條件，以及評估資料是否包含真實學生的模糊問法，而不只是老師寫好的標準題。
對高中資訊教育而言，這也是很好的 AI 素養教材。學生可以看到，AI 可靠度不只取決於模型能力，還取決於資料清理、文件解析、切分策略、測試設計和成效指標。chatbot 答錯時，要追問是資料取錯、脈絡不完整，還是問題超出知識範圍。
我會把這篇案例當成提醒：教育用 AI 的第一個工程目標，不是讓它看起來會聊天，而是讓它在學生需要幫助時，快速找到正確且可解釋的教材依據。若要導入校內，我也會一起追蹤準確率、回應時間、拒答品質和教師支援工時，避免只用單一漂亮數字宣告成功。
作者：Oliver 老師