本論文主要作者來自小紅書 AIGC 團隊（Dynamic-X-Lab），Dynamic?X?LAB 是一個專注于 AIGC 領域的研究團隊，致力于推動姿態驅動的人像生成與視頻動畫技術。他們以高質量、高可控性的生成模型為核心，圍繞文生圖（t2i）、圖像生成（i2i）、圖像轉視頻（i2v）和風格遷移加速等方向展開研究，并通過完整的開源方案分享給開發者與研究者社區。

基于一致性模型（Consistency Models, CMs）的軌跡蒸餾（Trajectory Distillation）為加速擴散模型提供了一個有效框架，通過減少推理步驟來提升效率。然而，現有的一致性模型在風格化任務中會削弱風格相似性，并損害美學質量 —— 尤其是在處理從部分加噪輸入開始去噪的圖像到圖像（image-to-image）或視頻到視頻（video-to-video）變換任務時問題尤為明顯。

這一核心問題源于當前方法要求學生模型的概率流常微分方程（PF-ODE）軌跡在初始步驟與其不完美的教師模型對齊。這種僅限初始步驟對齊的策略無法保證整個軌跡的一致性，從而影響了生成結果的整體質量。

為了解決這一問題，文章提出了單軌跡蒸餾（Single Trajectory Distillation，STD），一個從部分噪聲狀態出發的訓練框架。

為了抵消 STD 引入的額外時間開銷，文章設計了一個軌跡狀態庫（Trajectory Bank），預先存儲教師模型 PF-ODE 軌跡中的中間狀態，從而有效減輕學生模型訓練時的計算負擔。這一機制確保了 STD 在訓練效率上可與傳統一致性模型保持一致。

此外，該工作還引入了一個非對稱對抗損失（Asymmetric Adversarial Loss），可顯著增強生成結果的風格一致性和感知質量。

在圖像與視頻風格化任務上的大量實驗證明，STD 在風格相似性和美學評估方面均優于現有的加速擴散模型。

• 論文地址：https://arxiv.org/abs/2412.18945
• 項目主頁：https://single-trajectory-distillation.github.io/
• 項目 Github: https://github.com/dynamic-X-LAB/Single-Trajectory-Distillation
• 項目模型：https://huggingface.co/Single-Trajectory-Distillation/Single-Trajectory-Distillation
• 關鍵詞：AIGC、視頻風格遷移、擴散模型加速

STD 與其他方法的差異

如圖 2 所示，(a) 中的傳統一致性蒸餾方法（Other CMs）從 x_0 加噪得到不同的 x_t，再擬合多條 PF-ODE 軌跡的初始部分，存在軌跡不對齊問題。而在 (b) 中，文章提出的單軌跡蒸餾（Single-Trajectory Distillation, STD）方法則從一個固定的加噪狀態 x_(τ_η ) 出發，通過教師模型完整地去噪出多個 x_t，并以此為訓練目標，使學生模型在一條完整軌跡上實現自一致性。這種策略有效解決了訓練 - 推理路徑不一致的問題，提升了整體生成質量。

為了避免從 x_(τ_η ) 開始反復推理帶來的訓練開銷，進一步提出了軌跡緩存庫（trajectory bank），用于預存教師模型軌跡中的中間狀態，從而保持訓練效率不變。同時，引入了非對稱對抗損失（asymmetric adversarial loss），對不同噪聲級別下的生成圖與真實圖進行對比，有效提升圖像飽和度，減少紋理噪聲。

前置理論

【擴散模型】

擴散模型通過多步噪聲疊加模擬數據退化過程，并在生成階段通過逆向去噪獲得真實樣本。基于分數匹配理論，前向過程可表述為將數據分布轉化為高斯噪聲的隨機微分方程（SDE）：。Song 等人證明存在概率流常微分方程（PF-ODE）與 SDE 具有相同邊界概率密度，其形式為 ，其中 為去噪模型預測的分數項。基于此可發展多種數值解法，包括 DDIM-Solver、DPM 系列等求解器。

【軌跡】

在擴散模型中，軌跡直觀表征了樣本在加噪與去噪過程中的演化過程，但現有研究鮮少明確定義這一概念。文章將軌跡點定義為特定時間步的邊界概率密度（可通過樣本分布估計），從而支持軌跡樣本分布的量化分析。前向擴散 SDE 軌跡可表述為 ，其中 ；反向擴散軌跡則定義為 。當模型充分預訓練且  時，有  成立，此時  表示帶去噪模型 ? 的 ODE 求解器。

【基于部分加噪的編輯】

自一致性模型通過減少推理步數實現加速，其核心在于確保任意時刻的生成函數滿足不同時間步 t,t' 反向擴散到  的自一致性，即 。基于蒸餾方法可高效構建一致性模型，其損失函數定義為:

其中 n 均勻采樣于 {1,...,N-1}，s 為目標步長。計算期望時   通過 SDE 生成，而  由 ODE 求解器 確定。為提升訓練穩定性，采用 EMA 策略更新目標網絡參數 。

方法介紹

【單軌跡蒸餾理論】

在擴散模型中，理想情況下反向去噪軌跡應與前向擴散軌跡嚴格互逆。但實際中，不完美去噪模型會導致：

• 軌跡不一致性：不同起點 η,η' 的反向軌跡  與互不等價。
• 誤差傳播：若模型預測噪聲誤差為 ，則去噪樣本  與前向樣本  的偏差滿足：

針對圖像 / 視頻風格化任務中固定起點 η 的需求，提出基于一致性模型僅在固定起點的單條軌跡上做一致性蒸餾，具體包含兩個關鍵點：

• 固定噪聲強度起點 τ_η=η?T（即 ）。 
• 使用教師模型 ? 生成完整軌跡 ，引導學生模型 θ 學習該軌跡的自一致性。

根據第二部分對軌跡的定義，可以寫出單軌跡蒸餾損失函數的表達式如下：

為降低蒸餾誤差，約束學生模型學習的時間步 s 接近教師步 t： 

其中 γ 表示控制目標時間步 s 的取值下限比例因子通過縮短 t 與 s 的距離，可以減小誤差上界，同時保留隨機性提升模型性能。

【軌跡狀態庫】

在 STD 訓練過程中，教師模型的全軌跡狀態需通過多步 ODE-Solver 進行反向擴散，導致訓練耗時顯著增加。為解決此問題，提出軌跡狀態庫（Trajectory Bank），其存儲教師模型沿反向擴散軌跡 的中間狀態。通過按采樣概率 ρ 從庫中隨機抽取 ，可直接獲取 t 時刻的軌跡狀態樣本，避免從 x_0 加噪至 τ_η 再逐步去噪的高耗時過程。

【非對稱對抗損失】

受到 MCM 方法啟發，提出非對稱對抗損失函數。不同于傳統方法約束 與真實圖像  的匹配，論文中建立  與 x_r 的約束關系（0<r<s），實驗發現通過時間步錯位可以顯著增強圖像風格化程度。具體實現:

其中 F 表示 DINO-v2 模型，D_ψ 表示判別器，ψ 表示判別器的可學習參數，x_r 指對 x_0 加噪 r 步后獲得的樣本。

 實驗結果

• 訓練集：Open-Sora-Plan-v1.0.0
• 測試集：wikiArt（10 張） + COCO（100 張） + 自定義 100 張圖像 / 12 個視頻及 15 種風格圖像的測試集
• 評估指標：風格相似度（CSD）、LAION 美學評分和時間一致性（Warping Error）指標
• 對比方法：LCM / TCD / PCM / TDD / Hyper-SD / SDXL-Lightning / MCM

【對比實驗】

STD 與當前多種加速方法在 8 步、6 步、4 步下進行對比，在風格相似性和美學分數上達到 SOTA 水平。其中圖像生成在 NFE=8 時 CSD 分數比 Hyper-SD 提升↑0.032；視頻生成的 Warping Error 達到 0.166，顯著優于 MCM 的 0.257。從可視化（圖 4）中可以看出 STD 方法的風格質量和圖像質量顯著更高；在不同 CFG 的定量指標折線圖中（圖 5）也表現出了更優水平。

視頻效果：

【消融實驗】

文章對單軌跡蒸餾方法、軌跡狀態庫以及非對稱對抗損失函數做了消融實驗（表 2），當使用軌跡狀態庫時，抵消了 STD 帶來的額外 3.8 倍訓練耗時，而 STD 方法和非對稱對抗損失函數都顯著提升了風格相似性分以及美學分。

其他重要參數的取值和特性消融實驗：

STD 和非對稱對抗損失強度（Fig 6）：強度越大，細節和噪點越少，對比度越強，畫質越好。

不同的噪聲起點（Fig 8）：η 越大，風格化程度越大，但是內容相關性越弱。

不同的目標時間步 s 的取值下限比例因子（Fig 10）：更大的 γ 值帶來更低噪聲，更強的非對稱對抗損失產生更高對比度；γ=0.7 在風格保持與細節呈現間取得最佳平衡。

非對稱對抗損失目標時間步位置（Table 3、Fig 9）：當 r<s 時風格化程度最佳，噪點最少。

【可擴展性試驗】

文章進一步討論了 STD 方法的適用范圍，從 STD 的理論推導上看，該方法可用于其他任何 “基于部分噪聲的圖像 / 視頻編輯” 任務，如 inpainting 等。為了驗證猜想，文章展示了一組使用 STD 和其他加速方法用于 inpainting 的對比圖。如圖 7，相比 LCM 和 TCD 方法，STD 的 inpainting 效果更加自然。

結語

文章針對基于一致性模型的圖像視頻風格遷移加速方法，重點優化了風格相似性與美學質量。研究發現前向 SDE 軌跡中不同噪聲強度會導致 PF-ODE 軌跡產生差異，據此提出基于特定噪聲強度的單軌跡蒸餾方法（STD），有效解決了訓練與推理軌跡不對齊問題。為降低 STD 方法的訓練成本，創新性引入軌跡庫機制，并采用非對稱對抗損失提升生成質量。對比實驗驗證了本方法在風格保持與美學表現上的優越性，系統消融實驗證實了各模塊的有效性。該方法可擴展至部分噪聲編輯任務，文章已探索了基于 STD 的圖像修復應用，為后續相關工作提供新思路。