圖片

10月31日，llamacpp版本Qwen 3 VL系列模型（Qwen 3 VL 模型已并入 llama.cpp，ollama同步支持），有網(wǎng)友在使用Qwen3-VL-8B時發(fā)現(xiàn)一個問題：第二次對話時llama.cpp總會崩潰。錯誤信息指向聊天模板的語法問題。

Unsloth團隊緊急修復了這個問題，并重新上傳了所有GGUF量化文件。現(xiàn)在Qwen3-VL系列模型可以在本地穩(wěn)定運行，從2B到235B的各種規(guī)格都有對應版本。

硬件需求與實際表現(xiàn)

• Qwen3-VL-2B：在4GB內(nèi)存設備上運行，速度約40 token/秒
• Qwen3-VL-235B：需要128GB統(tǒng)一內(nèi)存，采用動態(tài)4位量化
• 中間規(guī)格：8B、32B等模型在不同配置下都有相應優(yōu)化

有用戶反饋，在RTX 4090（24GB顯存）+96GB內(nèi)存的配置下，235B模型Q2量化版能達到14 token/秒。30B模型在40K上下文長度下，24GB顯存設備上可達170 token/秒。

部署步驟

1. 獲取最新版llama.cpp，支持CUDA加速
2. 下載模型文件（推薦使用HuggingFace的snapshot_download）
3. 根據(jù)模型類型設置參數(shù)：Instruct和Thinking版本需要不同配置

關鍵參數(shù)差異：

• Instruct版：Temperature=0.7, Top_P=0.8
• Thinking版：Temperature=1.0, Top_P=0.95

多模態(tài)能力測試

在實際測試中，模型能夠同時處理多張圖片并理解其關聯(lián)性。例如，先加載Unsloth的logo圖片，再加載一張真實樹懶照片，模型能準確指出兩者都涉及樹懶主題——一個是項目標識，一個是真實動物。

Unsloth在HuggingFace上提供了完整的模型集合，包括GGUF、safetensor和動態(tài)量化格式。對于想要微調(diào)的用戶，他們還提供了免費notebook，聲稱能減少60%顯存使用并提升訓練速度。官方還同時提供docker版本的Qwen3-VL部署，使用起來很方便。

目前來看，Qwen3-VL的本地部署已經(jīng)相對成熟，特別是Unsloth修復了聊天模板問題后，多輪對話的穩(wěn)定性明顯提升。對于有特定硬件配置的開發(fā)者，現(xiàn)在是個不錯的測試時機。

地址：??https://docs.unsloth.ai/models/qwen3-vl-run-and-fine-tune??

本文轉載自??????AI工程化??????，作者：winkrun