大模型部署工具 Ollama 使用指南：技巧與問題解決全攻略

作者：wayn 2025-04-08 03:22:00

Ollama 是一個開源的本地大模型部署工具，旨在簡化大型語言模型（LLM）的運(yùn)行和管理。通過簡單命令，用戶可以在消費(fèi)級設(shè)備上快速啟動和運(yùn)行開源模型（如 Llama、DeepSeek 等），無需復(fù)雜配置。

一、Ollama 是什么？

Ollama 是一個開源的本地大模型部署工具，旨在簡化大型語言模型（LLM）的運(yùn)行和管理。通過簡單命令，用戶可以在消費(fèi)級設(shè)備上快速啟動和運(yùn)行開源模型（如 Llama、DeepSeek 等），無需復(fù)雜配置。它提供 OpenAI 兼容的 API，支持 GPU 加速，并允許自定義模型開發(fā)。

二、核心命令速查表

運(yùn)行 ollama help 可查看所有命令，以下是高頻命令總結(jié)：

命令	作用描述
`ollama serve`	啟動 Ollama 服務(wù)（后臺運(yùn)行）
`ollama create`	通過 `Modelfile` 創(chuàng)建自定義模型
`ollama run`	運(yùn)行指定模型（如 `ollama run llama3 --gpu`）
`ollama list`	列出所有已下載模型
`ollama ps`	查看正在運(yùn)行的模型
`ollama rm`	刪除指定模型（如 `ollama rm llama3`）
`ollama pull`	從注冊表拉取模型（如 `ollama pull deepseek-r1:70b`）
`ollama stop`	停止正在運(yùn)行的模型
`ollama show`	顯示模型詳細(xì)信息（如 `ollama show qwen`）

三、模型存儲路徑優(yōu)化

默認(rèn)路徑問題

Windows：C:\Users\<用戶名>\.ollama
Linux/macOS：~/.ollama
問題：可能占用系統(tǒng)盤空間，尤其對小容量 SSD 用戶不友好。

路徑遷移方案

Windows

右鍵「此電腦」→ 屬性 → 高級系統(tǒng)設(shè)置 → 環(huán)境變量。
新建系統(tǒng)變量 OLLAMA_MODELS，路徑設(shè)為 D:\ollama\models。

設(shè)置環(huán)境變量

重啟電腦或終端后生效。

模型文件存放路徑

Linux/macOS

echo 'export OLLAMA_MODELS=/path/to/your/models' >> ~/.bashrc  # 或 ~/.zshrc
source ~/.bashrc  # 重新加載配置

四、模型管理：從下載到優(yōu)化

1. 模型下載

官方模型：

ollama pull llama3  # 下載 Llama3 模型

自定義模型：

準(zhǔn)備模型文件（如 GGUF 格式，從 Hugging Face 下載）。。

圖片

創(chuàng)建 Modelfile 配置模板（示例）：

name: mymodel
template: qwen
path: /path/to/your/model.q4_K_M.gguf

構(gòu)建模型：

ollama create mymodel -f Modelfile

2. 運(yùn)行與交互

終端交互：

ollama run --gpu mymodel  # 啟動 GPU 加速

輸入問題后按 Ctrl+D 提交，等待模型響應(yīng)。

API 調(diào)用：Ollama 內(nèi)置 OpenAI 兼容 API，通過 http://localhost:11434 訪問：

curl http://localhost:11434/v1/models  # 查看模型列表
curl -X POST "http://localhost:11434/v1/completions" -H "Content-Type: application/json" -d '{"model":"llama3", "prompt":"你好"}'

3. 性能監(jiān)控與優(yōu)化

顯存不足：

選擇輕量模型（如 deepseek:1.5b）。

嘗試低精度版本（如 q4_K_M 或 q3_K_L）。

內(nèi)存不足：

確保至少 8GB 內(nèi)存（小模型）或 32GB+（大模型）。

使用 --verbose 參數(shù)監(jiān)控資源消耗：

ollama run deepseek-r1:70b --verbose

輸出示例：

total duration: 12m1.056s  # 總耗時
load duration: 1.810s      # 模型加載時間
eval rate: 2.09 tokens/s   # 生成速度

五、常見問題與解決方案

1. 模型下載卡在 99%？

現(xiàn)象：下載進(jìn)度停滯在最后階段。
解決：

Ctrl+C 取消下載 → 再次運(yùn)行 `ollama pull <model>`  
# 進(jìn)度保留，后續(xù)速度可能恢復(fù)正常

2. 模型無響應(yīng)或崩潰

可能原因：

Modelfile 配置錯誤（如路徑或模板參數(shù)）。

系統(tǒng)資源不足（內(nèi)存/顯存）。

排查步驟：

檢查 Modelfile 中的 TEMPLATE 和 stop 參數(shù)是否正確。

降低模型復(fù)雜度或增加硬件資源。

使用 --verbose 日志定位問題。

3. 刪除無用模型釋放空間

命令：

ollama rm modelname  # 刪除指定模型

六、安全加固指南

1. 限制網(wǎng)絡(luò)訪問

默認(rèn)風(fēng)險：Ollama 默認(rèn)監(jiān)聽 0.0.0.0:11434，可能暴露公網(wǎng)。
解決方案：

# 僅允許本地訪問
export OLLAMA_HOST=127.0.0.1:11434
# 或通過環(huán)境變量設(shè)置
OLLAMA_HOST=127.0.0.1:11434 ollama serve

2. 關(guān)閉危險端口

若僅本地使用，可通過防火墻屏蔽 11434 端口的外部訪問。

3. 定期更新版本

Ollama 定期修復(fù)安全漏洞，建議升級到最新版：

七、總結(jié)與建議

硬件規(guī)劃：

7B 模型需 8GB 內(nèi)存，70B 模型需 32GB+。

顯存不足時優(yōu)先選擇低精度版本。

安全第一：

避免將 Ollama 端口暴露公網(wǎng)，定期更新版本。

模型選擇：

根據(jù)需求選擇（如 DeepSeek 適合代碼生成，Qwen 適合多語言）。

責(zé)任編輯：武曉燕來源：程序員wayn

大模型部署工具 LLM