Ollama：簡單易用的LLM部署工具 

Ollama以其簡潔的安裝和易于使用的特性而聞名。其官方文檔清晰易懂，即使是新手也能快速上手。Ollama支持多種LLM模型，并提供便捷的命令行界面進行管理和運行。其核心優勢在于：   

• 簡單安裝：Ollama的安裝過程非常簡單，只需幾條命令即可完成，無需復雜的配置。
• 易于使用：Ollama提供友好的用戶界面和命令行工具，方便用戶管理和運行LLM模型。
• 跨平臺支持：Ollama支持macOS、Windows和Linux系統，具有良好的跨平臺兼容性。
• 內存占用少：相較于其他一些部署方案，Ollama對內存的占用相對較少，這對于資源受限的設備來說非常友好。

 然而，Ollama也存在一些不足之處： 

• 并發限制：Ollama的并發處理能力相對有限，需要根據實際需求調整最大并發數。
• 國內網絡環境：由于服務器在國外，國內用戶在下載和使用過程中可能會遇到網絡速度慢的問題。

 Ollama安裝示例（Linux）： 

curl -fsSL https://ollama.com/install.sh | sh

 Ollama運行示例： 

ollama run qwen2.5:32b-instruct

如果遇到網絡問題的解決辦法,可以修改下載源

打開 ollama_install.sh，找到以下兩個下載地址：

https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}
https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}

我們要將這兩個地址替換成 GitHub 的下載鏈接。但直接使用 GitHub 可能依舊緩慢，因此我們推薦使用 GitHub 文件加速服務。

使用以下腳本來修改下載源：

#!/bin/bash


# 文件路徑
FILE="ollama_install.sh"


# 修改 URL
sed -i 's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g' $FILE
sed -i 's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g' $FILE

最終，把下載地址改為：

https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz

 vLLM：高性能LLM推理引擎 

vLLM是一個專注于高性能LLM推理的工具。它能夠有效地利用多核CPU和GPU資源，顯著提升LLM的推理速度。vLLM的主要優勢在于： 

• 高推理速度：vLLM在推理速度方面表現出色，能夠快速生成LLM的輸出。
• 資源利用率高：vLLM能夠充分利用多核CPU和GPU資源，提升資源利用率。
• 靈活配置：vLLM允許用戶根據實際需求靈活配置參數，例如模型路徑、端口號等。

 但是，vLLM的上手難度相對較高：

• 配置復雜：vLLM的配置相對復雜，需要用戶具備一定的技術基礎。
• 顯存占用更大：相比于ollama的顯存占用,vLLM占用的更大。 

vLLM安裝示例： 

pip install vllm

 vLLM運行示例： 

vllm serve --host 0.0.0.0 --port 8080 --model-path /path/to/model

 總結

Ollama和vLLM各有千秋，選擇哪種方案取決于具體需求。如果需要一個簡單易用、快速部署的LLM解決方案，并且對推理速度要求不高，那么Ollama是不錯的選擇。如果追求高性能的LLM推理，并且具備一定的技術基礎，那么vLLM更適合。