如何在本地運行量化版的DeepSeek-R1-0528？ 原創
本文介紹了使用Ollama和WebUI 在本地運行量化版的 DeepSeek-R1-0528 模型。
DeepSeek-R1-0528是DeepSeek R1 推理模型的最新版本，需要715GB的磁盤空間，使其成為市面上最大的開源模型之一。然而由于來自Unsloth 的先進的量化技術，該模型的大小可以縮減至162GB，整整縮減了80%。這使得用戶能夠以顯著降低的硬件要求體驗模型的全部功能，盡管性能略有下降。
在本教程中，我們將：
- 設置Ollama和Open Web UI，以便在本地運行DeepSeek-R1-0528 模型。
- 下載并配置該模型的 1.78 位量化版（IQ1_S）。
- 使用GPU + CPU和純CPU兩種配置環境運行該模型。
先決條件?
要運行IQ1_S 量化版本，你的系統必須滿足以下要求：
- GPU要求：至少1個24GB GPU（比如英偉達RTX 4090或A6000）和128GB RAM。在此配置下，預期生成速度約為每秒5個token。
- RAM要求：運行該模型至少需要64GB RAM；可以不使用 GPU 運行該模型，但性能將限制為每秒1個token。
- 最佳設置：為了獲得最佳性能（每秒5個以上token），你至少需要180GB的統一內存或180GB的RAM + VRAM組合內存。
- 存儲：確保你至少有200GB的可用磁盤空間用于模型及其依賴項。
第1步：安裝依賴項和Ollama
更新你的系統并安裝所需的工具。Ollama是一款輕量級服務器，用于在本地運行大語言模型。在Ubuntu 發行版上使用以下命令安裝它：
apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh第2步：下載并運行模型
使用以下命令運行DeepSeek-R1-0528 模型的 1.78 位量化版本（IQ1_S）：
ollama serve &
ollama run hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0
第3步：設置并運行Open Web UI
拉取支持CUDA的Open Web UI Docker鏡像。運行支持GPU并集成Ollama的Open Web UI 容器。
該命令將：
- 在8080端口啟動Open Web UI服務器
- 使用--gpus all 標志，啟用GPU加速
- 掛載必要的數據目錄（-v open-webui:/app/backend/data）
docker pull ghcr.io/open-webui/open-webui:cuda
docker run -d -p 9783:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda一旦容器運行，在瀏覽器中訪問Open Web UI 界面：http://localhost:8080/。
第4步：在Open Web UI中運行DeepSeek R1 0528
從模型菜單中選擇hf.co/unsloth/DeepSeek-R1-0528-GGUF:TQ1_0模型。
如果Ollama服務器無法正確使用GPU，你可以切換到CPU執行。雖然這會顯著降低性能（大約每秒1個token），但可以確保模型仍然能夠運行。
# Kill any existing Ollama processes
pkill ollama
# Clear GPU memory
sudo fuser -v /dev/nvidia*
# Restart Ollama service
CUDA_VISIBLE_DEVICES="" ollama serve一旦模型運行，你可以通過Open Web UI與其交互。但請注意，由于缺乏GPU加速，速度將被限制為每秒1個token。
結語?
即使運行量化版本也頗具挑戰性。你需要快速的網絡連接來下載模型，如果下載失敗，必須從頭開始整個過程。我在試著在GPU上運行時也遇到了很多問題，我一直收到與VRAM 不足相關的GGUF錯誤。盡管嘗試了幾種常見的GPU錯誤修復方法，但都不起作用，于是我最終把一切都切換到了CPU。雖然這確實有效，但現在模型僅僅生成響應就需要大約10分鐘，這遠非理想狀態。
我相信肯定有更好的解決方案，比如使用llama.cpp，但相信我，我花了一整天才讓它運行起來。
原文標題：??Run the Full DeepSeek-R1-0528 Model Locally??，作者：Abid Ali Awan
