讓SDXL實現50倍加速！中山&字節最新對抗訓練+雙空間判別，單步生成新標桿！性能狂飆
文章地址：https://arxiv.org/pdf/2507.18569
亮點直擊
- 對抗分布匹配（ADM）：提出一種新的對抗學習框架，利用擴散判別器在隱空間對齊真實和偽造分數估計器的預測，替代傳統顯式散度度量（如KL散度），避免模式崩潰，提升生成多樣性。
- 混合判別器對抗蒸餾：在一步蒸餾任務中，結合隱空間+像素空間的混合判別器，優化預訓練生成器，通過ODE軌跡分布損失提供更好的初始化，提升訓練穩定性。
- DMDX統一流程（預訓練+微調）：將對抗蒸餾預訓練與ADM微調結合，SDXL上實現50倍加速（一步生成），同時保持高保真度，在SD3、CogVideoX等模型上刷新圖像/視頻生成效率的SOTA。
- 三次方時間步調度：使生成器更關注高噪聲區域，增強樣本多樣性，改善模式覆蓋能力。
總結速覽
解決的問題
- 模式崩潰（Mode Collapse）：Distribution Matching Distillation (DMD) 依賴反向KL散度最小化，可能導致模式崩潰（mode-seeking），即學生模型僅學習教師模型的部分模式，忽略多樣性。
- 分布匹配的局限性：現有方法（如DMD、DMD2、MMD、SiD等）依賴于預定義的顯式散度度量（如Fisher散度），難以靈活匹配復雜的高維多模態分布。
- 一步蒸餾的挑戰：在極少數步驟（如一步）蒸餾時，學生模型與教師模型的支持集重疊區域不足，容易導致梯度爆炸或消失，初始化質量對性能影響顯著。
提出的方案
- 對抗分布匹配（ADM）：
- 通過擴散判別器（diffusion-based discriminators）以對抗方式對齊真實與偽造分數估計器的潛在預測，替代傳統的顯式散度度量。
- 直接在分數蒸餾中引入對抗訓練，動態學習數據驅動的分布差異度量。
- 混合判別器的對抗蒸餾：
- 在一步蒸餾中，結合隱空間和像素空間的混合判別器（hybrid discriminators），提升預訓練生成器的質量。
- 使用教師模型生成的ODE對（ODE pairs）分布損失替代DMD2中的均方誤差（MSE），提供更好的初始化。
- 統一流程DMDX：
- 將對抗蒸餾預訓練與ADM微調結合，形成端到端流程，顯著提升一步蒸餾性能。
應用的技術
- 對抗訓練：利用擴散判別器在隱空間進行對抗學習，動態優化分布匹配。
- 混合判別器：聯合隱空間和像素空間的判別器，增強生成器的多樣性。
- ODE分布損失：從教師模型中收集ODE軌跡對，通過分布損失優化初始化。
- 分數蒸餾框架：基于DMD的分數蒸餾理論，結合對抗訓練改進模式覆蓋能力。
達到的效果
- 性能提升：
- 在SDXL上的一步蒸餾性能超越DMD2，且GPU耗時更低。
- 在SD3-Medium、SD3.5-Large和CogVideoX的多步蒸餾中，為高效圖像/視頻合成設立新基準。
- 多樣性改善：通過對抗學習避免模式崩潰，生成樣本覆蓋更廣的教師模型分布。
- 訓練穩定性：ODE分布損失和混合判別器提升了初始化和梯度穩定性，減少一步蒸餾的失敗風險。
方法
對抗分布匹配
與DMD和DMD2的關系
為了緩解DMD損失中的模式崩潰問題，DMD和DMD2分別額外使用了基于ODE的正則器和基于GAN的正則器進行蒸餾。然而，這兩種正則器并未從根本上解決反向KL散度引入的模式尋求行為（如下圖4(a)所示），而是通過損失之間的權衡來抵消其影響。在ADM中，對抗損失實際上扮演了DMD損失的角色，通過隱式的、數據驅動的差異度量而非預定義的散度來實現分數蒸餾。因此，在ADM中使用GAN訓練的動機與DMD2不同，且不需要額外的正則器。
直觀上，可學習的判別器可以近似任何非線性函數來隱式測量分布差異，這可能天然包含了DMD損失中的反向KL散度。如下圖3所示，在CogVideoX的多步ADM蒸餾過程中可視化了公式(6)中DMD損失的變化。盡管未直接優化公式(6)，結果顯示出非常穩定的下降趨勢，支持了我們的假設。
對抗蒸餾預訓練
為了穩定極具挑戰性的一步蒸餾，我們選擇通過對合成數據進行對抗蒸餾預訓練，為ADM微調提供更好的初始化。我們的預訓練配置參考了Rectified Flow的多個方面：1)以離線方式從教師模型收集ODE對；2)通過在ODE對的純噪聲和干凈數據樣本之間線性插值構建噪聲樣本；3)將生成器的預測目標改為ODE對的速度。
三次方生成器時間步調度
均勻判別器時間步調度
與LADD的關系
對合成數據進行對抗蒸餾的動機受LADD啟發，但存在多處不同：1)通過Rectified Flow風格的ODE對而非隨機噪聲構建噪聲樣本；2)開發了促進確定性歐拉采樣的三次方生成器時間步調度；3)引入額外的像素空間編碼器以增強判別器能力并發現更多模式。
討論
ADM與ADP的區別
預訓練的重要性
我們尚未討論的問題是：為何一步分數蒸餾需要預訓練？以DMD損失使用的反向KL散度為例：
因此當該假設不成立時，許多單一散度度量不再適用，如圖4(b)所示，具有更多重疊區域的更好初始化變得至關重要。
理論目標
最后一個問題是：為何ADM在理論上優于DMD損失？實際上，采用的Hinge GAN已被證明最小化總變差距離(TVD)：
實驗
模型。對于一步蒸餾，在SDXL-Base上同時采用對抗蒸餾預訓練(ADP)和ADM微調，稱為DMDX。對于多步蒸餾，我們僅在文生圖模型SD3-Medium、SD3.5-Large和文生視頻模型CogVideoX-2b、CogVideoX-5b上使用ADM訓練。遵循多數同期工作，我們未在文生圖模型中使用無分類器引導(CFG)，但在文生視頻模型嘗試了CFG集成實驗。
數據集。本文提出的ADP和ADM均不需要視覺數據。對圖像生成器，使用JourneyDB中具有高度細節和特異性的文本提示進行訓練；對視頻生成器，訓練提示來自OpenVid-1M、Vript和Open-Sora-Plan-v1.1.0。
評估。圖像生成器參照DMD2在COCO 2014的10K提示上進行評估，報告CLIP分數及人類偏好基準PickScore、HPSv2和MPS。但一步定量比較中未包含Hyper-SD，因為一步Hyper-SDXL已通過ReFL直接優化人類反饋，轉而比較其在SD3-Medium上提出的TSCD算法(4步Hyper-SD3 LoRA未經ReFL優化)。視頻生成器通過包含多維度質量與語義評估的VBench進行評測。
超參數。盡管ADP和ADM需訓練多個模型，無需大量調參即可獲得滿意的視覺保真度與結構完整性。后續實驗僅調整生成器學習率，判別器和偽造模型的優化器設置在所有實驗中保持一致。除非特別說明延長訓練，文生圖和文生視頻模型分別僅訓練8K次(batch size為128和8)。
高效圖像合成
下表1定量比較了嗯問在SDXL-Base上結合ADP與單步ADM蒸餾的兩階段方法與現有一步蒸餾方法。結果顯示，本文的方法在圖文對齊度和人類偏好上均取得優異表現，這與下圖5的定性比較一致（包括更好的人像美學、動物毛發細節、主體-背景分離和物理結構）。
對于多步ADM蒸餾，其可作為獨立的分數蒸餾方法。本文嘗試了全參數微調和LoRA微調配置，下表2的定量結果證明了本文方法的優越性能。
高效視頻合成
如下表3所示，除對CogVideoX兩種規模常規進行8步ADM蒸餾外，我們還嘗試在文生視頻任務中集成無分類器引導(CFG)：
針對2B模型延長訓練的額外評估表明（如前面圖3所示，DMD損失在8K次迭代時未充分收斂），ADM蒸餾過程中可學習判別器也能近似優化DMD損失。
消融實驗
下表4對SDXL-Base全參數微調進行廣泛消融研究：
ADP效果：
ADM效果：
- 缺少ADP會顯著降低性能(B1/B4)
- 無正則器時，DMD損失性能遜于獨立ADM(B1/B2)，表明其魯棒性差
- 雖然DMD損失優化也受益于ADP(B2/B3)，但其分布匹配能力仍弱于ADM(B3/B4)
TTUR的影響。下表5展示了不同TTUR設置對最終性能和訓練時長的影響。結果表明，增加TTUR僅帶來微弱的性能提升，卻使訓練時間近乎翻倍，這種權衡顯然得不償失。這凸顯了本文提出的ADP在一步蒸餾中的關鍵作用，同時表明DMD2中的訓練不穩定性很可能源于支持集重疊不足。
多樣性評估。遵循DMD2的方法，在Partiprompts上為每個提示生成4個不同種子的樣本，并在下表6中報告平均成對LPIPS相似度。結果表明，本文的方法在多樣性方面顯著優于其他方法。
定性比較
局限性
本文意識到一個弱點是教師模型可能需要CFG來產生準確的分數預測。實驗表明這是分數蒸餾方法的普遍特性，而非我們方法獨有的限制。這限制了該方法在FLUX.1-dev等基于引導蒸餾模型中的應用，這可能是未來研究的一個潛在方向。
本文轉自AI生成未來 ，作者：AI生成未來
