先學會驗證 再學 AI 框架
今天在 HN 上看到一套 AI Engineer Notebooks，我第一個反應是：這比很多「三小時學會 LangChain」的課程更適合拿來當入門教材。
它的設計很有意思，不是從框架開始，而是讓你在 Colab 裡用 raw API 先把 model API、structured output、tool calling、RAG、evals、agent loop 都自己跑一遍。作者的說法我很認同，先知道底層在做什麼，再去用 LangChain 或 LlamaIndex，才有能力判斷什麼時候該用框架，什麼時候框架反而讓事情變複雜。
在教學現場，我最怕學生學 AI 只學到「套模板」。看起來有完成作品，但一問 retrieval 為什麼失準、judge prompt 為什麼不穩、agent 為什麼一直多花 token，就答不出來。這套 notebooks 把 evals 放在很前面，而且反覆提醒 measure before you tune，這點很關鍵。因為真正的 AI 工程不是把 demo 做出來，而是知道 demo 壞掉時要從哪裡查。
我也喜歡它把案例做得比較接近真實工作，例如 customer support assistant 的 production debugging、pipeline vs agent 的成本比較、red-team robustness benchmark。這些題目很適合拿來讓學生理解：不是所有事情都該交給 agent。流程固定、輸入輸出明確時，pipeline 可能更便宜、更穩、更容易評估。
如果我要把這套資源放進課程，我大概不會要求學生全部做完。我會挑三個模組：RAG failure、LLM-as-judge、agent guardrails。這三個最能打破「AI 很神」的迷思，也最能建立工程判斷。
對轉職者也一樣。現在會叫 API 的人很多，真正稀缺的是能把問題拆成可測量的流程、知道何時不要用 agent、能用 evals 說服團隊的人。這套筆記本的價值不在免費，而在它把 AI 工程教回工程本身。📚
作者：Oliver 老師