比HuggingFace快24倍！伯克利神級LLM推理系統(tǒng)開源，碾壓SOTA，讓GPU砍半

作者：新智元 2023-06-21 13:20:14

人工智能新聞

打「排位賽」的大模型們背后秘密武器曝光！UC伯克利重磅開源神級LLM推理系統(tǒng)——vLLM，利用PagedAttention，比HuggingFace/Transformers快24倍，GPU數(shù)量減半。

過去2個月，來自UC伯克利的研究人員給大語言模型們安排了一個擂臺——Chatbot Arena。

GPT-4等大語言模型玩家打起了「排位賽」，通過隨機battle，根據(jù)Elo得分來排名。

這一過程中，每當一個用戶訪問并使用網(wǎng)站，就需要同時讓兩個不同的模型跑起來。

他們是如何做到的？

這不，就在今天，UC伯克利重磅開源了世界最快LLM推理和服務系統(tǒng)vLLM。

簡之，vLLM是一個開源的LLM推理和服務引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力鍵和值。

配備全新算法的vLLM，重新定義了LLM服務的最新技術(shù)水平：

與HuggingFace Transformers相比，它提供高達24倍的吞吐量，而無需進行任何模型架構(gòu)更改。

值得一提的是，「小羊駝」Vicuna在demo中用到的就是FastChat和vLLM的一個集成。

正如研究者所稱，vLLM最大的優(yōu)勢在于——提供易用、快速、便宜的LLM服務。

這意味著，未來，即使對于像LMSYS這樣計算資源有限的小型研究團隊也能輕松部署自己的LLM服務。

項目地址：https://github.com/vllm-project/vllm

現(xiàn)在，所有人可以在GitHub倉庫中使用一個命令嘗試vLLM了。論文隨后也會發(fā)布。

性能全面碾壓SOTA

今天，這個由UC伯克利創(chuàng)立的開放研究組織LMSYS介紹道：

「一起來見證vLLM：Chatbot Arena背后的秘密武器。FastChat-vLLM的集成使LMSYS使用的GPU數(shù)量減少了一半，同時每天平均提供3萬次請求。」

vLLM的性能具體如何？

UC伯克利團隊將vLLM的吞吐量與最受歡迎的LLM庫HuggingFace Transformers（HF），以及HuggingFace文本生成推理（TGI），先前的最新技術(shù)水平進行了比較。

團隊在兩個設置中進行評估：在NVIDIA A10G GPU上運行LLaMA-7B模型，在NVIDIA A100 GPU（40GB）上運行LLaMA-13B模型。

然后，研究人員從ShareGPT數(shù)據(jù)集中抽樣請求的輸入/輸出長度。

在實驗中，vLLM的吞吐量比HF高達24倍，并且比TGI高達3.5倍。

在每個請求只需要一個輸出完成時的服務吞吐量。vLLM比HF的吞吐量高出14倍-24倍，比TGI的吞吐量高出2.2倍-2.5倍

在每個請求需要3個并行輸出完成時的服務吞吐量。vLLM比HF的吞吐量高出8.5倍-15倍，比TGI的吞吐量高出3.3倍-3.5倍

秘密武器：PagedAttention

在vLLM中，團隊發(fā)現(xiàn)LLM服務的性能受到內(nèi)存的限制。

在自回歸解碼過程中，LLM的所有輸入token都會生成注意力鍵（key）和值（value）張量，并且這些張量被保留在GPU內(nèi)存中以生成下一個token。

這些緩存的鍵和值張量通常被稱為KV緩存。KV緩存具有以下特點：

1. 內(nèi)存占用大：在LLaMA-13B中，單個序列的KV緩存占用高達1.7GB的內(nèi)存。

2. 動態(tài)化：其大小取決于序列長度，而序列長度高度易變，且不可預測。

因此，有效管理KV緩存是一個重大挑戰(zhàn)。對此，研究團隊發(fā)現(xiàn)現(xiàn)有系統(tǒng)由于碎片化和過度保留而浪費了60%至80%的內(nèi)存。

用團隊的導師Joey Gonzalez的一句話來講：GPU內(nèi)存碎片化=慢。

為了解決這個問題，團隊引入了PagedAttention，一種受到操作系統(tǒng)中虛擬內(nèi)存和分頁經(jīng)典概念啟發(fā)的注意力算法。

與傳統(tǒng)的注意力算法不同，PagedAttention允許在非連續(xù)的內(nèi)存空間中存儲連續(xù)的鍵和值。

具體來說，PagedAttention將每個序列的KV緩存分為若干塊，每個塊包含固定數(shù)量token的鍵和值。在注意力計算過程中，PagedAttention內(nèi)核能夠高效地識別和提取這些塊。

PagedAttention：KV緩存被分割成塊，這些塊在內(nèi)存中不需要連續(xù)

由于這些塊在內(nèi)存中不需要連續(xù)，因此也就可以像操作系統(tǒng)的虛擬內(nèi)存一樣，以更靈活的方式管理鍵和值——將塊看作頁，token看作字節(jié)，序列看作進程。

序列的連續(xù)邏輯塊通過塊表映射到非連續(xù)的物理塊。隨著生成新的token，物理塊會按需進行分配。

使用PagedAttention的請求生成過程示例

PagedAttention將內(nèi)存浪費控制在了序列的最后一個塊中。

在實踐中，這帶來了接近最優(yōu)的內(nèi)存使用——僅有不到4%的浪費。

而這種內(nèi)存效率的提升，能讓系統(tǒng)將更多的序列進行批處理，提高GPU利用率，從而顯著提高吞吐量。

此外，PagedAttention還具有另一個關(guān)鍵優(yōu)勢：高效的內(nèi)存共享。

比如在并行采樣中，就能從相同的提示生成多個輸出序列。在這種情況下，提示的計算和內(nèi)存可以在輸出序列之間共享。

并行采樣的示例

PagedAttention通過塊表自然地實現(xiàn)了內(nèi)存共享。

類似于進程共享物理頁的方式，PagedAttention中的不同序列可以通過將它們的邏輯塊映射到相同的物理塊來共享塊。

為了確保安全，PagedAttention會跟蹤物理塊的引用計數(shù)，并實現(xiàn)了寫時復制機制。

采樣多個輸出的請求示例生成過程

PagedAttention的內(nèi)存共享極大減少了復雜采樣算法（如并行采樣和束搜索）的內(nèi)存開銷，將它們的內(nèi)存使用量減少了高達55%。這可以將吞吐量提高多達2.2倍。

總結(jié)而言，PagedAttention是vLLM的核心技術(shù)，它是LLM推斷和服務的引擎，支持各種模型，具有高性能和易于使用的界面。

GitHub上，團隊也介紹了vLLM能夠無縫支持的HuggingFace模型，包括以下架構(gòu)：

- GPT-2（gpt2、gpt2-xl等）

- GPTNeoX（EleutherAI/gpt-neox-20b、databricks/dolly-v2-12b、stabilityai/stablelm-tuned-alpha-7b等）

- LLaMA（lmsys/vicuna-13b-v1.3、young-geng/koala、openlm-research/open_llama_13b等）

- OPT（facebook/opt-66b、facebook/opt-iml-max-30b等）

小羊駝和排位賽的「幕后英雄」

4月初，UC伯克利學者聯(lián)手UCSD、CMU等，最先推出了一個開源全新模型——130億參數(shù)的Vicuna，俗稱「小羊駝」。

從那時起，Vicuna已在Chatbot Arena為數(shù)百萬用戶提供服務。

最初，LMSYS的FastChat采用基于HF Transformers的服務后端來提供聊天demo。

但隨著demo變得越來越受歡迎，峰值流量猛增了好幾倍，而HF后端也因此成了一個重大的瓶頸。

為了解決這一挑戰(zhàn)，LMSYS與vLLM團隊緊密合作，全力開發(fā)出了全新的FastChat-vLLM集成——通過將vLLM作為新的后端，來滿足不斷增長的需求（最多增加5倍的流量）。

根據(jù)LMSYS內(nèi)部微基準測試的結(jié)果，vLLM服務后端可以實現(xiàn)比初始HF后端高出30倍的吞吐量。

4月-5月期間，Chatbot Arena的后端已經(jīng)部落了FastChat-vLLM的集成。實際上，有超過一半的Chatbot Arena請求都使用FastChat-vLLM集成服務的

自4月中旬以來，最受歡迎的語言模型，如Vicuna、Koala和LLaMA，都已成功使用FastChat-vLLM集成提供服務。

FastChat作為多模型聊天服務前端，vLLM作為推理后端，LMSYS能夠利用有限數(shù)量的GPU（學校贊助的），以高吞吐量和低延遲為數(shù)百萬用戶提供Vicuna服務。

現(xiàn)在，LMSYS正在將vLLM的使用擴展到更多的模型，包括Databricks Dolly、LAION的OpenAsssiant和Stability AI的StableLM等。

vLLM使用教程

使用以下命令安裝vLLM（另可查看安裝指南了解更多信息）：

$ pip install vllm

vLLM可用于離線推理和在線服務。要使用vLLM進行離線推理，你可以導入vLLM并在Python腳本中使用LLM類：

from vllm import LLMprompts = ["Hello, my name is", "The capital of France is"]  # Sample prompts.
llm = LLM(model="lmsys/vicuna-7b-v1.3")  # Create an LLM.
outputs = llm.generate(prompts)  # Generate texts from the prompts.

要使用vLLM進行在線服務，你可以通過以下方式啟動與OpenAI API兼容的服務器：

$ python -m vllm.entrypoints.openai.api_server --model lmsys/vicuna-7b-v1.3

你可以使用與OpenAI API相同的格式查詢服務器：

$ curl http://localhost:8000/v1/completions \-H "Content-Type: application/json" \-d '{
        "model": "lmsys/vicuna-7b-v1.3",
        "prompt": "San Francisco is a",
        "max_tokens": 7,
        "temperature": 0
    }'

有關(guān)使用vLLM的更多方法，請查看快速入門指南：

https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html