論文鏈接：https://arxiv.org/pdf/2511.07399
工程鏈接：https://streamdiffusionv2.github.io/

亮點(diǎn)直擊

• StreamDiffusionV2，這是一個(gè)免訓(xùn)練的流式系統(tǒng)，專為視頻擴(kuò)散模型設(shè)計(jì)，用于實(shí)現(xiàn)動(dòng)態(tài)交互式的視頻生成。
• 巧妙整合了SLO-aware批處理調(diào)度器、塊調(diào)度器、sink-token引導(dǎo)的滾動(dòng)KV緩存以及運(yùn)動(dòng)感知噪聲控制器等創(chuàng)新組件，同時(shí)引入可擴(kuò)展的pipeline編排機(jī)制。
• 該系統(tǒng)首次在多GPU環(huán)境下實(shí)現(xiàn)了實(shí)時(shí)SLO約束下的高效生成，支持從單個(gè)創(chuàng)作者到企業(yè)級(jí)平臺(tái)的廣泛應(yīng)用場(chǎng)景。
• 顯著提升了視頻生成的時(shí)效性和質(zhì)量穩(wěn)定性，推動(dòng)了AI驅(qū)動(dòng)的直播流媒體向下一代發(fā)展。

圖 1 批量視頻生成與流式視頻生成的比較。與生成大批量視頻不同，實(shí)時(shí)流視頻生成的目標(biāo)是縮短 "到第一幀的時(shí)間"，并以較低的延遲生成連續(xù)輸出

總覽

效果展示

注：從左上到右下：參考視頻、StreamDiffusion、Causvid、StreamDiffusionV2

解決的問題

現(xiàn)有視頻擴(kuò)散模型雖在離線生成中表現(xiàn)出色，但難以適應(yīng)實(shí)時(shí)直播流媒體的嚴(yán)格要求。具體而言，有以下四大挑戰(zhàn)：

• 一是無法滿足實(shí)時(shí)SLO（如最小化首幀時(shí)間和每幀截止期限）；
• 二是長時(shí)序生成中出現(xiàn)漂移，導(dǎo)致視覺一致性下降；
• 三是在高速動(dòng)態(tài)場(chǎng)景下產(chǎn)生運(yùn)動(dòng)撕裂和模糊；
• 四是多GPU擴(kuò)展性差，無法在異構(gòu)環(huán)境中實(shí)現(xiàn)線性FPS提升。

這些問題源于現(xiàn)有系統(tǒng)對(duì)離線批處理優(yōu)化的偏向，而忽略了在線流媒體的無限輸入和低抖動(dòng)需求。本工作通過系統(tǒng)級(jí)優(yōu)化，填補(bǔ)了這一空白。

提出的方案

StreamDiffusionV2，這是一個(gè)端到端的免訓(xùn)練pipeline，將高效視頻擴(kuò)散模型轉(zhuǎn)化為實(shí)時(shí)交互式應(yīng)用。其核心在于兩層優(yōu)化：一是實(shí)時(shí)調(diào)度與質(zhì)量控制，包括SLO-aware批處理調(diào)度器（動(dòng)態(tài)調(diào)整批大小以滿足截止期限）、自適應(yīng)sink和RoPE刷新（防止長時(shí)序漂移）以及運(yùn)動(dòng)感知噪聲調(diào)度器（根據(jù)運(yùn)動(dòng)幅度適應(yīng)去噪路徑）；二是可擴(kuò)展pipeline編排，通過并行去噪步驟和網(wǎng)絡(luò)階段，實(shí)現(xiàn)跨GPU的近線性加速。此外，系統(tǒng)還融入了DiT塊調(diào)度器、Stream-VAE和異步通信重疊等輕量優(yōu)化，確保長時(shí)序流媒體的高利用率和穩(wěn)定性。

應(yīng)用的技術(shù)

StreamDiffusionV2的實(shí)現(xiàn)融合了以下關(guān)鍵技術(shù)：

達(dá)到的效果

StreamDiffusionV2在無需TensorRT或量化的情況下，實(shí)現(xiàn)了0.5秒內(nèi)首幀渲染，并在4個(gè)H100 GPU上以14B參數(shù)模型達(dá)到58.28 FPS，以1.3B參數(shù)模型達(dá)到64.52 FPS。即使增加去噪步驟以提升質(zhì)量，仍保持31.62 FPS（14B）和61.57 FPS（1.3B）。系統(tǒng)在不同分辨率、去噪步數(shù)和GPU規(guī)模下表現(xiàn)出色，支持從低延遲到高品質(zhì)的靈活權(quán)衡，并在CLIP分?jǐn)?shù)（98.51）和Warp Error（73.31）等指標(biāo)上超越基線，顯著改善長時(shí)序一致性和運(yùn)動(dòng)處理能力。

方法

StreamDiffusionV2，這是一個(gè)無需訓(xùn)練的流式系統(tǒng)，它同時(shí)實(shí)現(xiàn)了實(shí)時(shí)的效率和長時(shí)序的視覺穩(wěn)定性。從高層次來看，本工作的設(shè)計(jì)基于兩個(gè)關(guān)鍵的優(yōu)化層面：（1）實(shí)時(shí)調(diào)度與質(zhì)量控制，它協(xié)同整合了服務(wù)等級(jí)目標(biāo)（SLO）感知的批處理、自適應(yīng)的sink與RoPE刷新、以及運(yùn)動(dòng)感知的噪聲調(diào)度，以滿足每幀的截止期限，同時(shí)維持長時(shí)序的時(shí)序連貫性和視覺保真度；（2）可擴(kuò)展的pipeline編排，它通過跨去噪步驟和網(wǎng)絡(luò)階段進(jìn)行并行化，以實(shí)現(xiàn)近線性的FPS擴(kuò)展，且不違反延遲保證。此外，還探討了數(shù)個(gè)輕量級(jí)的系統(tǒng)級(jí)優(yōu)化，包括DiT塊調(diào)度器、Stream-VAE和異步通信重疊，它們進(jìn)一步增強(qiáng)了長時(shí)間運(yùn)行的直播流的吞吐量和穩(wěn)定性。

圖 6 StreamDiffusionV2 的pipeline概覽。(1) 效率。我們將 SLO 感知批處理調(diào)度器（控制輸入大?。┡cpipeline協(xié)調(diào)配對(duì)，以平衡延遲和 FPS，確保每個(gè)幀在嚴(yán)格的服務(wù)限制條件下滿足其截止日期和 TTFF。(2) 質(zhì)量。我們部署了運(yùn)動(dòng)感知噪聲控制器，以減輕高速撕裂，并將自適應(yīng)匯令牌與 RoPE 刷新相結(jié)合，以提供高質(zhì)量的用戶交互和數(shù)小時(shí)級(jí)的流媒體穩(wěn)定性。

實(shí)時(shí)調(diào)度和質(zhì)量控制

如圖6所示，StreamDiffusionV2通過三個(gè)關(guān)鍵組件實(shí)現(xiàn)實(shí)時(shí)視頻生成：（1）一個(gè)SLO感知的批處理調(diào)度器，它動(dòng)態(tài)調(diào)整流批次的大小，以滿足每幀的截止期限，同時(shí)最大化GPU的利用率；（2）一個(gè)自適應(yīng)的sink和RoPE刷新機(jī)制，通過周期性地重置時(shí)序錨點(diǎn)和位置偏移來緩解長時(shí)序漂移；以及（3）一個(gè)運(yùn)動(dòng)感知的噪聲調(diào)度器，它根據(jù)運(yùn)動(dòng)的幅度來調(diào)整去噪軌跡，確保在多樣的運(yùn)動(dòng)狀態(tài)下都能保持清晰度和時(shí)序穩(wěn)定性。

圖 4 序列并行性和pipeline編排的 Roofline 分析

運(yùn)動(dòng)感知的噪聲調(diào)度器 (Motion-aware noise scheduler) 。為了處理直播視頻中多樣的運(yùn)動(dòng)動(dòng)態(tài)，本文提出了一個(gè)運(yùn)動(dòng)感知的噪聲調(diào)度器，它根據(jù)近期幀的估計(jì)運(yùn)動(dòng)幅度，自適應(yīng)地調(diào)節(jié)去噪的噪聲率。

可擴(kuò)展的pipeline編排

多pipeline編排擴(kuò)展 (Multi-pipeline orchestration extension) 。為了在多GPU平臺(tái)上提升系統(tǒng)吞吐量，本文提出了一種可擴(kuò)展的pipeline編排方案用于并行推理。具體來說，DiT的模塊被劃分到不同的設(shè)備上。如圖7所示，每個(gè)設(shè)備將其輸入序列作為一個(gè)微步（micro-step）進(jìn)行處理，并在一個(gè)環(huán)形結(jié)構(gòu)內(nèi)將結(jié)果傳輸?shù)较乱粋€(gè)階段。這使得模型的連續(xù)階段能夠以pipeline并行的方式并發(fā)運(yùn)行，從而在DiT的吞吐量上實(shí)現(xiàn)近線性的加速。

圖 7 我們的pipeline-并行流-批處理架構(gòu)的詳細(xì)設(shè)計(jì)。DiT 模塊分布在多個(gè)設(shè)備上以實(shí)現(xiàn)pipeline并行，而 Stream-Batch 策略則應(yīng)用于每個(gè)階段。不同顏色表示不同的潛流，說明了通信結(jié)構(gòu)，深度表示相應(yīng)的噪音水平。本文實(shí)現(xiàn)保證了在推理過程中的每個(gè)微步驟都能生成干凈的潛變量。

高效的系統(tǒng)-算法協(xié)同設(shè)計(jì)

DiT塊調(diào)度器 (DiT block scheduler) 。靜態(tài)分區(qū)常常會(huì)產(chǎn)生不均衡的工作負(fù)載，因?yàn)榈谝粋€(gè)和最后一個(gè)排名除了處理DiT塊外，還要處理VAE的編碼和解碼，如圖13(a)所示。這種不平衡會(huì)導(dǎo)致pipeline停頓和利用率降低。本文引入了一個(gè)輕量級(jí)的、在推理時(shí)運(yùn)行的DiT塊調(diào)度器，它根據(jù)測(cè)量的執(zhí)行時(shí)間動(dòng)態(tài)地在設(shè)備之間重新分配模塊。該調(diào)度器會(huì)搜索一個(gè)最優(yōu)的分區(qū)方案，以最小化每個(gè)階段的延遲，如圖13(b)所示，從而顯著減少了整體的pipeline氣泡。

Stream-VAE。StreamDiffusionV2集成了一個(gè)為流式推理設(shè)計(jì)的低延遲Video-VAE變體。Stream-VAE不是編碼長序列，而是處理短的視頻塊（例如4幀），并在每個(gè)3D卷積內(nèi)部緩存中間特征，以維持時(shí)序的連貫性。

異步通信重疊 (Asynchronous communication overlap) 。為了進(jìn)一步減少同步停頓，每個(gè)GPU都維護(hù)兩個(gè)CUDA流：一個(gè)計(jì)算流和一個(gè)通信流。GPU間的傳輸是異步執(zhí)行的，與本地計(jì)算重疊以隱藏通信延遲。這種雙流設(shè)計(jì)使每個(gè)設(shè)備的計(jì)算節(jié)奏與其通信帶寬保持一致，有效地緩解了殘余的氣泡，并在多GPUpipeline中保持了高利用率。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置包括基于Wan 2.1和CausVid的模型（免訓(xùn)練），評(píng)估指標(biāo)涵蓋效率（FPS、TTFF、加速率）和質(zhì)量（CLIP分?jǐn)?shù)、Warp Error）?；€包括Ring-Attention、DeepSpeed-Ulysses、StreamDiffusion、StreamV2V和CausVid變體。實(shí)現(xiàn)細(xì)節(jié)：在H100和RTX 4090 GPU上測(cè)試，使用bf16，無TensorRT或量化，支持1-4去噪步驟和不同分辨率。

效率評(píng)估，StreamDiffusionV2在TTFF上大幅優(yōu)于基線（如在30 FPS下為0.37s，CausVid高18倍，Wan2.1-1.3B高280倍）。FPS結(jié)果：在4 H100 GPU上，1.3B模型達(dá)64.52 FPS（512×512）、42.26 FPS（480p）；14B模型達(dá)58.28 FPS（512×512）、39.24 FPS（480p）。即使增加步驟，性能仍穩(wěn)定。

生成質(zhì)量評(píng)估，本系統(tǒng)在CLIP分?jǐn)?shù)（98.51）和Warp Error（73.31）上領(lǐng)先基線，視覺比較顯示更好的一致性和運(yùn)動(dòng)處理。消融研究確認(rèn)sink token和運(yùn)動(dòng)感知噪聲控制器提升時(shí)序?qū)R。分析進(jìn)一步驗(yàn)證動(dòng)態(tài)DiT塊調(diào)度器平衡負(fù)載，pipeline編排在通信和性能綁定上優(yōu)于序列并行，Stream Batch顯著提高吞吐量，尤其在多步驟下。

總結(jié)

StreamDiffusionV2，彌合了離線視頻擴(kuò)散與受實(shí)時(shí)SLO約束的直播流媒體之間的差距。本免訓(xùn)練系統(tǒng)將SLO-aware批處理/塊調(diào)度器與sink-token引導(dǎo)的滾動(dòng)KV緩存、運(yùn)動(dòng)感知噪聲控制器以及pipeline編排相結(jié)合，后者通過并行去噪步驟和模型層實(shí)現(xiàn)近線性FPS擴(kuò)展，而不違反延遲要求。它在異構(gòu)GPU上運(yùn)行，支持靈活步驟計(jì)數(shù)，實(shí)現(xiàn)0.5 s TTFF，并在4×H100上達(dá)到58.28 FPS（14B）/ 64.52 FPS（1.3B），即使步驟增加也能維持高FPS。這些結(jié)果使最先進(jìn)的生成式直播流媒體對(duì)單個(gè)創(chuàng)作者和企業(yè)平臺(tái)都變得實(shí)用。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/FZnaNs3KGsr5xFBFqWQGxw??