AGI is an Engineering Problem
最近看到一篇文章在講AGI 是工程問題,不是單純的模型訓練問題,裡面的幾個點跟大家分享:
現在大模型一路 scale 上去,確實有做到很強,但大家應該也都感受到邊際效益開始遞減,很多問題不是再丟更多 GPU 就能解,而是出在系統層,如記憶怎麼持久化、上下文怎麼管理、工作流程怎麼 rollback、不同模組要怎麼協作等。這些其實比較像分散式系統或 infra 的挑戰,而不是 ML 的 loss function 還能不能再調。
我覺得比較有趣的是,他把 context management 和memory 當成 infrastructure 來談,像版本化知識圖、belief update、meta-knowledge 這些概念,都比我們現在看到的 vector DB + RAG 還要完整很多。再加上 deterministic workflow 搭配 probabilistic component,這就很像 compiler pipeline,有錯可以 rollback,有監控可以 trace。
另外專精模型的模組化協作這點我也很同意,單一模型什麼都會其實不太 realistic,更像是上百上千個專精模組互相呼叫,然後系統要能夠 scale、容錯、測試,這種設計就很工程導向。
看下來,我覺得 AGI 下一步不是等 GPT-6,而是誰能把這些基礎設施做好
作者:王志遠
The Big LLM Architecture Comparison