近日，Qwen 3 VL 系列模型終于合并到了 llama.cpp 項目中。這意味著用戶現在可以通過 llama.cpp 直接運行這個支持視覺理解的大型語言模型。

合并后的模型支持圖像輸入和多輪對話。有用戶測試后反饋，即使使用 4-bit 量化，模型也能較好地理解圖像內容并回答問題。不過，開發者提醒，量化過程可能會對性能產生一定影響，建議根據實際需求選擇合適的參數。

技術細節方面，此次合并主要解決了模型架構的兼容性問題。Qwen 3 VL 采用了特殊的視覺編碼器，需要與 llama.cpp 的文本處理流程進行適配。開發團隊通過調整注意力機制和輸入預處理模塊，實現了無縫集成。

目前，該功能已進入 llama.cpp 的主干分支。用戶可以通過編譯最新版本體驗 Qwen 3 VL 的圖像理解能力。需要注意的是，由于模型較大，運行需要足夠的顯存或內存資源。

Ollama 最新版本v0.12.7同步支持所有 Qwen 3 VL 模型本地化。

下載地址：???https://github.com/ggml-org/llama.cpp/releases/tag/b6887??

本文轉載自??AI工程化??，作者：ully