跟你價值15000的GPU談一段永不審查的愛情
講者:Ian | Accucrazy / The Pocket Company | Founder, CEO
活動:12/15 Generative 忘年會 2025
題目:跟你價值15000的GPU談一段永不審查的愛情
這場分享一開始就蠻有畫面的,主角不是人,是一張 4060 Ti 16G 顯卡,講者開玩笑地說這張卡現在跟他談戀愛了,因為現在幾乎所有事情都繞著它轉。他現場展示的是如何用這張顯卡在地端跑,並實際開發了四隻 AI Agent。
但這場分享真正有趣的地方,其實不是規格,而是他拿這些 Agent 去做了什麼,以及他如何做到的。
紅茶、蛋塔,還有「幸福美滿」的情境圖
第一個例子很生活化,紅茶配蛋塔,只要給一點情境描述,很快就能產出廣告用的圖甚至影片,尺寸可以指定,畫面構圖可以控制,甚至連「咬蛋塔、露出幸福美滿表情」這種情緒,都能直接寫在 prompt 裡。這一段聽起來好像只是行銷素材生成,但其實已經可以看出現在的生成,不只是好不好看,而是能不能精準貼合到要投放的情境中,這種能高度客製化的廣告素材,才是業界大家想要的東西。
第二個主角,是情趣內衣
這一段現場氣氛其實有點微妙也很有趣,情趣內衣的廣告投放成效非常好,但是很多圖片生成平台根本不給你跑這種圖,講者提到像 nano banana 這類平台,背後其實都有 ID 追蹤與審查機制,哪些東西不能碰,其實設定的很清楚,於是他換了一條路。
他介紹了一個叫 z-image 的方案,品質算出來其實不錯,接近 Google 那個等級,但代價也很明顯,最初試驗下用 4060 Ti 跑一張圖要 30 分鐘左右,雖然時間有點長但是你可以生成那些在雲端平台根本不會讓你生成的內容,不會被審查也不會被卡題材。
這不是在講灰色地帶,而是在講一個很現實的市場需求,素材能不能產出,有時候不是技術問題,是平台政策問題,就像最近 Grok 的爭議一樣。
從一張圖 30 分鐘,到 30 秒
最初要 30 分鐘實在不能用在生產環境中,於是 Ian 也分享了後續的優化路線,在地端的情況下之後可以做到 30 秒生圖,1 小時產生影片。
前幾天他甚至看到一個最近網路很紅的影片案例,買魯肉飯唱歌,講者也想生成一個類似的,試驗下來整個生成過程大概花只花了 30 分鐘。
從這個經驗你會發現到,這些東西放在以前 1 年前會覺得很荒謬,但現在反而變成一種「啊,原來已經可以做到這裡了」的感覺。
那怎麼加速的呢? 具體來說分成兩個階段:
第一階段:GGUF,把模型變成「跑得動的樣子」
講者把整個流程拆成幾個階段,第一個提到的是 GGUF。
這裡我其實聽得滿有感覺因為也用了不少,GGUF 本身不是什麼新奇的概念,它在解的其實是一個很老但一直沒消失的問題,也就是模型怎麼從「研究用」走到「真的能被跑起來」。
GGUF 本質上是一種推論取向的模型封裝格式,模型一旦轉成 GGUF,就已經假設你不會再訓練它了,只剩下 inference 這條路,所以它會非常激進地把權重固定下來、配合量化策略,並且犧牲一部分精度,換取可預期的記憶體占用與推論速度。
這一步的意義在於,把原本非常龐大的模型,壓到一般設備跑得動。
講者舉了一個有點誇張但其實很精準的對比,像 nano banana pro 那種等級的模型,如果照原始設定跑,背後假設的是極高規格、甚至企業級的算力環境,對一般開發者來說幾乎是不可觸及的。
但透過 GGUF 這類格式與量化流程,你其實是在重新定義這個模型的使用場景,它不再是我要不要做到 SOTA,
而是在可接受的品質下降範圍內,我能不能把它帶到現實世界使用;這個轉換很關鍵,因為它把模型從只能被仰望跑不起的模型,拉回到可以被部署、被測試、被商業化嘗試的工具。

第二階段:ComfyUI,讓 GPU 覺得「很舒服」
接下來 Ian 講到 ComfyUI,如果只單純把 ComfyUI 看成一個拉線的 UI,其實會低估它的價值,因為從工程角度來看,ComfyUI 可以幫你管理哪些計算值得被重做,哪些不需要,如在生成流程裡,很多步驟其實是高度可重用的,像是模型載入、某些中間特徵、固定的前處理與後處理;如果每一次改 prompt 或改參數都得全部重算一遍,那 GPU 浪費的時間會遠大於真正有價值的推論。
ComfyUI 把這個流程具現化來看,把生成流程拆成一個個明確的節點,讓你可以清楚知道如果這一步變了,哪些地方真的需要重算。這也是為什麼它不是只有一條線,而是一個有依賴關係的圖。從研究者的角度來看,這不是在讓操作更漂亮,而是在把生成這件事,變成一個可控、可推理、可優化的計算系統。
也難怪講者會說,這是在讓 GPU 覺得比較舒服。

聽到最後,其實是在對照另一個問題
Ian 中間還提到前幾天黃仁勳講的「五層蛋糕理論」,SaaS 團隊,其實是在同時往下、也往上打。往下是基礎建設、模型與算力;往上是應用、情境與商業。
這場分享聽到後面,我腦中一直浮現的不是某個工具,而是一個更大的問題,就是當你可以在地端,用相對便宜的設備,做出雲端平台不給你做、但市場確實需要的東西時,那整體的價值到底是在模型,還是在敢不敢下場做呢 ? 是很值得思考的。
這場分享給我的感覺,不是技術炫技,而是很實際地展示了有些 15000 的價值,不是因為它多厲害,而是因為它讓你跨過了原本過不去的限制;而那些限制,很多時候不是技術本身,而是平台替你做的選擇。
永遠都可以再往前想一步。

作者:Chi