谷歌之后，英偉達入局擴散大語言模型，F(xiàn)ast-dLLM推理速度狂飆27.6倍
在大語言模型（LLM）領(lǐng)域，推理效率是制約其實際應(yīng)用的關(guān)鍵因素之一。谷歌 DeepMind 的 Gemini diffusion 曾以 1400 tokens / 秒的生成速度震驚學界，展現(xiàn)了擴散模型在并行生成上的潛力。然而，開源擴散 LLM 卻因缺乏 KV 緩存機制和并行解碼質(zhì)量衰退，實際推理速度長期被自回歸模型壓制.
近日，NVIDIA 聯(lián)合香港大學、MIT 等機構(gòu)重磅推出 Fast-dLLM，以無需訓(xùn)練的即插即用加速方案，實現(xiàn)了推理速度的突破！
- 論文：Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding
- 項目地址：https://nvlabs.github.io/Fast-dLLM
- 論文鏈接：http://arxiv.org/abs/2505.22618
- GitHub 鏈接：https://github.com/NVlabs/Fast-dLLM
通過創(chuàng)新的技術(shù)組合，在不依賴重新訓(xùn)練模型的前提下，該工作為擴散模型的推理加速帶來了突破性進展。本文將結(jié)合具體技術(shù)細節(jié)與實驗數(shù)據(jù)，解析其核心優(yōu)勢。
一、 核心技術(shù)
分塊 KV 緩存與置信度感知并行解碼
1. 分塊 KV 緩存（Block-Wise KV Cache）：激活重用率超 90% 的雙向加速
傳統(tǒng)擴散模型因雙向注意力機制難以直接復(fù)用計算結(jié)果，導(dǎo)致長序列推理效率低下。Fast-dLLM 提出分塊 KV 緩存機制，通過以下設(shè)計實現(xiàn)高效計算：
- 雙向緩存策略：采用 DualCache 同時緩存前綴（Prompt）和后綴（Masked Tokens）的注意力激活值（KV Cache），如圖 1 (a)(b) 所示。在分塊生成時，前序塊的 KV 激活可直接復(fù)用于后續(xù)塊，減少重復(fù)計算??。
- 高相似度驗證：實驗表明，相鄰?fù)评聿襟E的 KV 激活余弦相似度接近 1（圖 2），證明緩存復(fù)用的可行性。例如，在 LLaDA 模型中，通過緩存可實現(xiàn) 90% 以上的激活重用，單步計算量顯著降低。
2. 置信度感知并行解碼（Confidence-Aware Parallel Decoding）
并行解碼雖能提升速度，但條件獨立假設(shè)易破壞 token 依賴關(guān)系，比方說這個例子 The list of poker hands that consist of two English words are: _ _.。后續(xù)兩個單詞可以是 “high card,” “two pair,” “full house,” 或者是 “straight flush.”。值得注意的是，這兩個單詞之間存在關(guān)聯(lián)。
然而，MDMs 中的多令牌預(yù)測過程首先為每個令牌生成一個概率分布，然后從這些分布中獨立采樣。這種獨立采樣可能導(dǎo)致不理想的組合（如生成 “high house” 等無效組合）。Fast-dLLM 通過動態(tài)置信度篩選解決這一問題（所謂置信度，是指模型給 token 賦予的概率大?。?/span>
- 閾值激活策略：僅對置信度超過閾值（如≥0.9）的 token 進行并行解碼，低置信度 token 留待后續(xù)步驟處理。如圖 3 所示，該策略可在保證生成質(zhì)量的前提下，并行輸出多個 token。
- 理論證明：當 (n+1)?≤1 時（n 為并行解碼 token 數(shù)，并且并行解碼的 n 個 token 的置信度都大于 1-?），貪婪解碼策略下并行解碼與順序解碼結(jié)果一致，從數(shù)學層面確保了生成邏輯的連貫性。
3. 偽代碼：分塊 KV 緩存與置信度感知并行解碼流程
以下是 Fast-dLLM 算法的核心偽代碼，結(jié)合了分塊 KV 緩存以及置信度感知并行解碼，無需訓(xùn)練就可以在現(xiàn)有的開源 Diffusion LLM（如 LLaDA、Dream）上即插即用進行推理加速。
二、 性能突破
速度與精度的均衡優(yōu)化
1. 長文本生成：27.6 倍端到端加速
在 LLaDA 模型上，針對 1024 token 的長文本生成任務(wù)，F(xiàn)ast-dLLM 將單步延遲從 0.26 秒降至 0.09 秒，整體耗時從 266 秒壓縮至 12 秒，實現(xiàn) 27.6 倍端到端加速。這一提升在代碼生成、數(shù)學推理等長序列場景中尤為顯著，例如 8-shot 提示的 GSM8K 任務(wù)中，加速后仍能保持 76% 的準確率。
2. 精度保持：損失 < 2% 的基準測試表現(xiàn)
在主流基準測試中，F(xiàn)ast-dLLM 的準確率損失控制在 2% 以內(nèi)：
- GSM8K（5-shot）：LLaDA+Fast-dLLM 準確率為 78.5%，僅比基線低 0.8%，但吞吐量提升 8.1 倍（圖 5）。
- HumanEval（代碼生成）：準確率達 44.5%，較基線提升 1.2%，同時吞吐量提升 3.7 倍。
- 多模型兼容：在 LLaDA、Dream 等模型上均實現(xiàn)高效加速，驗證了技術(shù)的通用性。
三、 應(yīng)用價值
無需訓(xùn)練的即插即用方案
Fast-dLLM 的零訓(xùn)練成本特性使其成為理想的推理優(yōu)化工具，能夠快速集成到現(xiàn)有的系統(tǒng)中。對于那些已經(jīng)在使用擴散模型的企業(yè)和開發(fā)者來說，可以在不改變模型架構(gòu)和訓(xùn)練流程的基礎(chǔ)上，直接利用 Fast-dLLM 提升推理效率，縮短長文本生成耗時，為實際部署提供更可行的方案。
四、 總結(jié)與展望
Fast-dLLM 通過分塊 KV 緩存與置信度感知并行解碼的創(chuàng)新組合，實現(xiàn)了擴散模型推理效率的跨越式提升，同時保持了生成質(zhì)量的穩(wěn)定性。其技術(shù)設(shè)計為非自回歸生成模型提供了新的優(yōu)化范式，有望推動擴散模型在實時交互、長文本生成等場景中的廣泛應(yīng)用。未來，隨著模型規(guī)模的擴大和蒸餾技術(shù)的深化，F(xiàn)ast-dLLM 或?qū)⑦M一步縮小與自回歸模型的性能差距，成為 LLM 推理加速的核心方案之一。
