AGI is an Engineering Problem
最近看到一篇文章在講AGI 是工程問題，不是單純的模型訓練問題，裡面的幾個點跟大家分享：
現在大模型一路 scale 上去，確實有做到很強，但大家應該也都感受到邊際效益開始遞減，很多問題不是再丟更多 GPU 就能解，而是出在系統層，如記憶怎麼持久化、上下文怎麼管理、工作流程怎麼 rollback、不同模組要怎麼協作等。這些其實比較像分散式系統或 infra 的挑戰，而不是 ML 的 loss function 還能不能再調。
我覺得比較有趣的是，他把 context management 和memory 當成 infrastructure 來談，像版本化知識圖、belief update、meta-knowledge 這些概念，都比我們現在看到的 vector DB + RAG 還要完整很多。再加上 deterministic workflow 搭配 probabilistic component，這就很像 compiler pipeline，有錯可以 rollback，有監控可以 trace。
另外專精模型的模組化協作這點我也很同意，單一模型什麼都會其實不太 realistic，更像是上百上千個專精模組互相呼叫，然後系統要能夠 scale、容錯、測試，這種設計就很工程導向。
看下來，我覺得 AGI 下一步不是等 GPT-6，而是誰能把這些基礎設施做好
作者：王志遠
The Big LLM Architecture Comparison