2026年從雲端轉向地端模型
作者本來是多年 ChatGPT、Claude 的重度使用者,但到了 2026,他決定把雲端丟一邊,自己組了一台 Local LLM 工作站。
現實是訂閱費一年比一年貴,模型看起來越來越「乖」,有些地方你明明知道模型做得到,但它就是不給你那樣的回答,心理面則是身為開發者,終於受不了把自己的 code、想法、半成品一直往別人的 server 丟。
他最近幾週在本機跑了 Llama 3.3、Phi-4、DeepSeek,跑完之後有一個很強烈的感覺:雲端的壟斷正在鬆動,至少對一部分人來說,2026 可能真的是 Local AI 的一年。
他提到幾個點:
第一個是延遲,沒有 queue、沒有尖峰時段,prompt 打下去幾乎就是即時回
第二個是隱私,這點對工程師特別有差,終於可以毫無顧慮地把 proprietary code 丟進模型裡
第三個是限制,你拿到的是模型原本的樣子,而不是經過層層 safety 與 policy 調整後的版本。
當然也不是什麼無痛轉移,他也說硬體門檻還在,VRAM 永遠不夠用,量化格式 GGUF 跟 EXL2 一開始一定會踩坑,預算配置也很容易犯錯。
不過他把整個建置過程、硬體選擇、踩過的雷,甚至「哪些錢其實不該花」都記錄下來了,如果你最近也開始對訂閱制有點疲乏,或是對 Local LLM 有興趣,這種第一線實作者的分享,其實比官方 roadmap 還有參考價值。
看完只會更確定一件事.... 雲端不會消失,但 AI 不再只屬於雲端了,也許可以省下更多訂閱費
作者:林 Jay