我個人都用 vllm docker 來做 benchmarks Ollama 完全不行，但不可否認有時候想快速測效果很方便

Ollama 這波就是嘴上說分家，背後還是靠 llama.cpp。 他們現在講的做法比較像是主力引擎自己維護一套基於 ggml 的，然後真的遇到新模型跑不起來，就偷偷 fallback 到 llama.cpp.... 這樣對 VC 或合作夥伴好交代，因為可以說我們有自己的底層，不會被上游綁住 但實際上相容性問題一堆，像 GGUF 那些 drama 就是這樣來的 對我來說啦，如果你只是要在自己機器上玩模型，直接上 llama.cpp server 就好，參數透明，踩坑至少踩在自己能 debug 的地方 Ollama 的價值比較像對新手友善，但要長期維護或做產品的話，還是要自己搞懂背後的相依關係。

感謝分享，我也一直覺得 Ollama 不知道為甚麼不願意拉下臉，放一句 感謝 llama.cpp 貢獻之類的