不僅如此，PowerInfer 與最先進(jìn)的本地LLM推理框架 llama.cpp 相比，在單個(gè) RTX 4090 (24G) 上運(yùn)行 Falcon (ReLU)-40B-FP16，實(shí)現(xiàn)了 11 倍多的加速，還能保持模型的準(zhǔn)確性。

具體來說，PowerInfer 是一個(gè)用于本地部署 LLM 的高速推理引擎。與那些采用多專家系統(tǒng)（MoE）不同的是，PowerInfer 通過利用 LLM 推理中的高度局部性，巧妙的設(shè)計(jì)了一款 GPU-CPU 混合推理引擎。

它的工作原理是這樣的，將頻繁激活的神經(jīng)元（即熱激活，hot-activated）預(yù)加載到 GPU 上以便快速訪問，而不常激活的神經(jīng)元（冷激活，cold-activated）（占大多數(shù)）則在 CPU 上計(jì)算。

這種方法顯著減少了 GPU 內(nèi)存需求和 CPU-GPU 數(shù)據(jù)傳輸。

• 項(xiàng)目地址：https://github.com/SJTU-IPADS/PowerInfer
• 論文地址：https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf

PowerInfer 可以在配備單個(gè)消費(fèi)級(jí) GPU 的 PC 上高速運(yùn)行 LLM。現(xiàn)在用戶可以將 PowerInfer 與 Llama 2 和 Faclon 40B 結(jié)合使用，對(duì) Mistral-7B 的支持也即將推出。

一天的時(shí)間，PowerInfer 就獲得了 2K 星標(biāo)。

看到這項(xiàng)研究后，網(wǎng)友激動(dòng)的表示：?jiǎn)慰?4090 跑 175B 大模型不再是夢(mèng)。

PowerInfer 架構(gòu)

PowerInfer 設(shè)計(jì)的關(guān)鍵是利用 LLM 推理中固有的高度局部性，其特征是神經(jīng)元激活中的冪律分布。這種分布表明，一小部分神經(jīng)元（稱為熱神經(jīng)元）跨輸入一致激活，而大多數(shù)冷神經(jīng)元?jiǎng)t根據(jù)特定輸入而變化。PowerInfer 利用這種機(jī)制設(shè)計(jì)了 GPU-CPU 混合推理引擎。

下圖 7 展示了 PowerInfer 的架構(gòu)概述，包括離線和在線組件。離線組件處理 LLM 的激活稀疏，區(qū)分熱神經(jīng)元和冷神經(jīng)元。在線階段，推理引擎將兩種類型的神經(jīng)元加載到 GPU 和 CPU 中，在運(yùn)行時(shí)以低延遲服務(wù) LLM 請(qǐng)求。

圖 8 說明了 PowerInfer 如何協(xié)調(diào) GPU 和 CPU 來處理層之間的神經(jīng)元。PowerInfer 根據(jù)離線數(shù)據(jù)對(duì)神經(jīng)元進(jìn)行分類，將熱激活的神經(jīng)元（例如索引 3、5、7）分配給 GPU 內(nèi)存，將其他神經(jīng)元分配給 CPU 內(nèi)存。

一旦接收到輸入，預(yù)測(cè)器就會(huì)識(shí)別當(dāng)前層中哪些神經(jīng)元可能會(huì)被激活。值得注意的是，通過離線統(tǒng)計(jì)分析識(shí)別的熱激活神經(jīng)元可能與運(yùn)行時(shí)激活行為不一致。例如，神經(jīng)元 7 雖然標(biāo)記為熱激活，但事實(shí)卻并非如此。然后，CPU 和 GPU 都會(huì)處理激活的神經(jīng)元，忽略沒有激活的神經(jīng)元。GPU 計(jì)算神經(jīng)元 3 和 5，而 CPU 處理神經(jīng)元 4。神經(jīng)元 4 的計(jì)算完成后，其輸出將發(fā)送到 GPU 進(jìn)行結(jié)果集成。

實(shí)驗(yàn)

該研究使用不同參數(shù)的 OPT 模型進(jìn)行了實(shí)驗(yàn)，參數(shù)從 6.7B 到 175B 不等，還包括 Falcon (ReLU)-40B 和 LLaMA (ReGLU)-70B 模型。值得注意的是，175B 參數(shù)模型的大小與 GPT-3 模型相當(dāng)。

本文還將 PowerInfer 與 llama.cpp 進(jìn)行了比較，llama.cpp 是最先進(jìn)的本地 LLM 推理框架。為了便于進(jìn)行比較，該研究還擴(kuò)展了 llama.cpp 以支持 OPT 模型。

由于本文專注于低延遲設(shè)置，因此評(píng)估指標(biāo)是端到端生成速度，量化為每秒生成 token 的數(shù)量（tokens/s）。 

該研究首先比較了 PowerInfer 和 llama.cpp 的端到端推理性能，批大小為 1。

圖 10 展示了在配備 NVIDIA RTX 4090 的 PC-High 上各種模型和輸入輸出配置的生成速度。平均而言，PowerInfer 實(shí)現(xiàn)了 8.32 tokens/s 的生成速度，最高可達(dá) 16.06 tokens/s， 顯著優(yōu)于 llama.cpp，比 llama.cpp 提高了 7.23 倍，比 Falcon-40B 提高了 11.69 倍。

隨著輸出 token 數(shù)量的增加，PowerInfer 的性能優(yōu)勢(shì)變得更加明顯，因?yàn)樯呻A段在整體推理時(shí)間中扮演著更重要的角色。在此階段，CPU 和 GPU 上都會(huì)激活少量神經(jīng)元，與 llama.cpp 相比，減少了不必要的計(jì)算。例如，在 OPT-30B 的情況下，每生成一個(gè) token，只有大約 20% 的神經(jīng)元被激活，其中大部分在 GPU 上處理，這是 PowerInfer 神經(jīng)元感知推理的好處。

圖 11 顯示，在 PC-Low 上，PowerInfer 仍然比 llama.cpp 獲得了相當(dāng)大的性能增強(qiáng)，平均加速為 5.01 倍，峰值為 7.06 倍。然而，與 PC-High 相比，這些改進(jìn)較小，主要是由于 PC-Low 的 11GB GPU 內(nèi)存限制。此限制會(huì)影響可分配給 GPU 的神經(jīng)元數(shù)量，特別是對(duì)于具有大約 30B 參數(shù)或更多參數(shù)的模型，導(dǎo)致更大程度地依賴于 CPU 來處理大量激活的神經(jīng)元。

圖 12 顯示了 PowerInfer 和 llama.cpp 的 CPU 和 GPU 之間的神經(jīng)元負(fù)載分布。值得注意的是，在 PC-High 上，PowerInfer 顯著增加了 GPU 的神經(jīng)元負(fù)載份額，從平均 20% 增加到 70%。這表明 GPU 處理了 70% 的激活神經(jīng)元。然而，在模型的內(nèi)存需求遠(yuǎn)遠(yuǎn)超過 GPU 容量的情況下，例如在 11GB 2080Ti GPU 上運(yùn)行 60GB 模型，GPU 的神經(jīng)元負(fù)載會(huì)降低至 42%。這種下降是由于 GPU 的內(nèi)存有限，不足以容納所有熱激活的神經(jīng)元，因此需要 CPU 計(jì)算這些神經(jīng)元的一部分。

圖 13 說明 PowerInfer 有效支持使用 INT4 量化壓縮的 LLM。在 PC-High 上，PowerInfer 的平均響應(yīng)速度為 13.20 tokens/s，峰值可達(dá) 29.08 tokens/s。與 llama.cpp 相比，平均加速 2.89 倍，最大加速 4.28 倍。在 PC-Low 上，平均加速為 5.01 倍，峰值為 8.00 倍。由于量化而減少的內(nèi)存需求使 PowerInfer 能夠更有效地管理更大的模型。例如，在 PC-High 上使用 OPT-175B 模型進(jìn)行的實(shí)驗(yàn)中，PowerInfer 幾乎達(dá)到每秒兩個(gè) token，超過 llama.cpp 2.66 倍。

最后，該研究還評(píng)估了 PowerInfer 在不同批大小下的端到端推理性能，如圖 14 所示。當(dāng)批大小小于 32 時(shí)，PowerInfer 表現(xiàn)出了顯著的優(yōu)勢(shì)，與 llama 相比，性能平均提高了 6.08 倍。隨著批大小的增加，PowerInfer 提供的加速比會(huì)降低。然而，即使批大小設(shè)置為 32，PowerInfer 仍然保持了相當(dāng)大的加速。

參考鏈接：https://weibo.com/1727858283/NxZ0Ttdnz

了解更多內(nèi)容，請(qǐng)查看原論文。