賈揚清點贊：3K star量的SGLang上新，加速Llama 405B推理秒殺vLLM、TensorRT-LLM
最近，Meta 開源了最新的 405B 模型（Llama 3.1 405B），把開源模型的性能拉到了新高度。由于模型參數量很大，很多開發者都關心一個問題：怎么提高模型的推理速度？
時隔才兩天，LMSYS Org 團隊就出手了，推出了全新的 SGLang Runtime v0.2。這是一個用于 LLM 和 VLM 的通用服務引擎。在運行 Llama 3.1 405B 時，它的吞吐量和延遲表現都優于 vLLM 和 TensorRT-LLM。
在某些情況下（運行 Llama 系列模型），它的吞吐量甚至能達到 TensorRT-LLM 的 2.1 倍，vLLm 的 3.8 倍。
LMSYS Org 團隊是一個由加州大學伯克利分校、加州大學圣地亞哥分校以及卡內基梅隆大學的學生與教職員工共同組建的公開性質的研究團體。他們開發的大模型評測平臺 ——Chatbot Arena 已經成為檢驗大模型能力的重要平臺，也被認為是一種相對公平的評測方式。
SGLang 是該團隊開發的一個用于大型語言模型和視覺語言模型的快速服務框架，于今年 1 月份正式推出，在 GitHub 上已經收獲了超過 3k 的 star 量。
這次的更新效果驚艷，知名 AI 研究者、Lepton AI 聯合創始人兼 CEO 賈揚清評價說「我一直被我的博士母校加州大學伯克利分校驚艷，因為它不斷交付最先進的人工智能和系統協同設計成果。去年我們看到了 SGLang 的使用，現在它變得更好了。迫不及待地想在產品中部署并嘗試新的 SGLang！」
為什么 LMSYS Org 要開發并迭代 SGLang 呢？他們在博客中提到，「我們已經運行 Chatbot Arena 平臺一年多，為數百萬用戶提供服務。我們深知高效服務對人工智能產品和研究的重要性。通過運營經驗和深入研究，我們不斷增強底層服務系統，從高級多模型服務框架 FastChat 到高效服務引擎 SGLang Runtime (SRT)。」
「這篇文章的重點是 SGLang Runtime，它是一個用于 LLM 和 VLM 的通用服務引擎。雖然 TensorRT-LLM、vLLM、MLC-LLM 和 Hugging Face TGI 等現有選項各有優點，但我們發現它們有時難以使用、難以定制或性能不佳。這促使我們開發了 SGLang v0.2，旨在創建一個不僅用戶友好、易于修改，而且性能一流的服務引擎。」
與 TensorRT-LLM 和 vLLM 相比，SGLang Runtime 在處理從 Llama-8B 到 Llama-405B 的模型時，以及在 A100 和 H100 GPU 上使用 FP8 和 FP16 時，在在線和離線場景下都能持續提供卓越或有競爭力的性能。SGLang 的性能始終優于 vLLM，在 Llama-70B 上的吞吐量最高是前者的 3.8 倍。它還經常與 TensorRT-LLM 不相上下，甚至超過 TensorRT-LLM，在 Llama-405B 上的吞吐量最高是前者的 2.1 倍。更重要的是，SGLang 是完全開源的，由純 Python 編寫，核心調度器只用了不到 4K 行代碼就實現了。
SGLang 是一個開源項目，采用 Apache 2.0 許可授權。它已被 LMSYS Chatbot Arena 用于支持部分模型、Databricks、幾家初創公司和研究機構，產生了數萬億 token，實現了更快的迭代。
以下是幾個框架的對比實驗設置和結果。
基準設置
研究者對離線和在線用例進行基準測試：
離線：他們一次發送 2K 到 3K 個請求，測量輸出吞吐量（token / 秒），即輸出 token 數除以總持續時間。他們測試的合成數據集來自 ShareGPT 數據集。例如，I-512-O-1024 表示平均輸入 512 個 token、平均輸出 1024 個 token 的數據集。五個測試數據集分別為：
- 數據集 1：I-243-O-770；
- 數據集 2：I-295-O-770；
- 數據集 3：I-243-O-386；
- 數據集 4：I-295-O-386；
- 數據集 5：I-221-O-201。
在線：他們以每秒 1 到 16 個請求 (RPS) 的速率發送請求，測量端到端延遲的中位數。他們使用合成數據集 I-292-O-579。
他們使用 vLLM 0.5.2（帶默認參數）和 TensorRT-LLM（帶推薦參數和調整后的批大小）。所有引擎都關閉了前綴緩存。目的是在沒有任何附加功能（如推測解碼或緩存）的情況下，對基本性能進行基準測試。他們使用與 OpenAI 兼容的 API 對 SGLang 和 vLLM 進行基準測試，并使用 Triton 接口對 TensorRT-LLM 進行基準測試。
Llama-8B 在一個 A100 上運行（bf16）
研究者從小型模型 Llama-8B 開始測試。下圖顯示了每個引擎在五個不同數據集的離線設置下所能達到的最大輸出吞吐量。TensorRT-LLM 和 SGLang 都能達到每秒約 4000 個 token 的吞吐量，而 vLLM 則稍遜一籌。
下面的在線基準圖顯示了與離線情況類似的趨勢。TensorRT-LLM 和 SGLang 的性能相當，可以保持 RPS > 10，而 vLLM 的延遲在請求率較高時顯著增加。
Llama-70B 在 8 個 A100 上運行（bf16）
至于在 8 個 GPU 上進行張量并行的較大型 Llama-70B 模型，趨勢與 8B 相似。在下面的離線基準測試中，TensorRT-LLM 和 SGLang 都能達到很高的吞吐量。
在下圖的在線結果中，TensorRT-LLM 憑借高效的內核實現和運行時間，顯示出較低的延遲。
Llama-70B 在 8 個 H100 上運行（fp8）
現在來測試 FP8 性能。vLLM 和 SGLang 都使用了 CUTLASS 的 FP8 內核。在離線設置中，SGLang 的批處理調度器非常高效，可以隨著批處理規模的增大而繼續擴展吞吐量，在這種情況下實現了最高吞吐量。其他系統則由于 OOM、缺少大量手動調整或存在其他開銷而無法擴展吞吐量或批大小。在線情況下也是如此，SGLang 和 TensorRT 的中位延遲相似。
Llama-405B 在 8 個 H100 上運行（fp8）
最后，研究者在最大的 405B 模型上對各種方法的性能進行了基準測試。由于模型較大，大部分時間都花在了 GPU 內核上。不同框架之間的差距縮小了。TensorRT-LLM 性能不佳的原因可能是 405B 模型剛剛問世，而圖中使用的版本尚未集成一些最新優化。在在線和離線情況下，SGLang 的性能都是最好的。
SGLang 概覽
SGLang 是大型語言模型和視覺語言模型的服務框架。它基于并增強了多個開源 LLM 服務引擎（包括 LightLLM、vLLM 和 Guidance）的許多優秀設計。它利用了來自 FlashInfer 的高性能注意力 CUDA 內核，并集成了受 gpt-fast 啟發的 torch.compile。
此外，研究者還引入了一些創新技術，如用于自動 KV 緩存重用的 RadixAttention 和用于快速約束解碼的壓縮狀態機。SGLang 以其完全用 Python 實現的高效批處理調度器而聞名。為了進行公平比較，本博客測試了這些服務引擎在關閉特定場景或工作負載優化（如前綴緩存和推測解碼）后的基本性能。SGLang 的提速是通過適當的工程設計實現的。SGLang 基于 Python 的高效批處理調度器具有良好的擴展性，通常可與使用 C++ 構建的閉源實現相媲美，甚至更勝一籌。
表 1 比較了 SGLang、TensorRT-LLM 和 vLLM 的各個方面。在性能方面，SGLang 和 TensorRT-LLM 都非常出色。在可用性和可定制性方面，SGLang 的輕量級和模塊化內核使其易于定制，而 TensorRT-LLM 復雜的 C++ 技術棧和設置說明使其更難使用和修改。SGLang 的源代碼完全開源，而 TensorRT-LLM 僅部分開源。相比之下，vLLM 的 CPU 調度開銷較高。
研究者還表示，未來他們還將開發長上下文和 MoE 優化等新功能。
使用方法
你可以按照以下步驟輕松服務 Llama 模型：
1、使用 pip、源代碼或 Docker 安裝 SGLang：https://github.com/sgl-project/sglang/tree/main?tab=readme-ov-file#install
2、啟動服務器：
# Llama 8B
python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct
# Llama 405B
python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 --tp 83、使用 OpenAI 兼容的 API 發送請求：
curl http://localhost:30000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "default",
"prompt": "Say this is a test",
"max_tokens": 7,
"temperature": 0
}'4、運行基準：
python3 -m sglang.bench_serving --backend sglang --num-prompts 1000附錄：詳細的基準設置
重現基準的說明位于 sglang/benchmark/blog_v0_2。
對于所有基準測試，研究者都設置了 ignore_eos 或 min_length/end_id 以確保每個引擎輸出相同數量的 token。他們曾嘗試使用 vLLM 0.5.3.post1，但它在高負載情況下經常崩潰，與部分基準測試中的 vLLM 0.5.2 相比，vLLM 0.5.3.post1 性能似乎差不多甚至更差。因此，他們報告的是 vLLM 0.5.2 的結果。雖然他們知道不同的服務器配置會對服務性能產生重大影響，但他們主要使用每個引擎的默認參數來模擬普通用戶的情況。
對于 8B 和 70B 模型，他們使用 meta-llama/Meta-Llama-3-8B-Instruct 和 meta-llama/Meta-Llama-3-70B-Instruct bf16 檢查點，以及 neuralmagic/Meta-Llama-3-70B-Instruct-FP8 fp8 檢查點。對于 405B 模型，他們在所有基準測試中都使用了虛擬權重。由于 TensorRT-LLM 最新圖像 r24.06 不支持官方 meta-llama/Meta-Llama-3.1-405B-FP8 檢查點中的 fbgemm_fp8 量化，他們在所有框架中都使用了每層 fp8 量化，并對除 lm_head 以外的所有層進行了量化。他們相信這樣可以對所有引擎進行公平的比較。A100 和 H100 GPU 為 80GB SXM 版本。
