論文有兩位共同一作。鄭凱文為清華大學計算機系三年級博士生，何冠德為德州大學奧斯汀分校（UT Austin）一年級博士生。

擴散模型（Diffusion Models）近年來在生成任務上取得了突破性的進展，不僅在圖像生成、視頻合成、語音合成等領域都實現了卓越表現，推動了文本到圖像、視頻生成的技術革新。然而，標準擴散模型的設計通常只適用于從隨機噪聲生成數據的任務，對于圖像翻譯或圖像修復這類明確給定輸入和輸出之間映射關系的任務并不適合。

為了解決這一問題，一種名為去噪擴散橋模型（Denoising Diffusion Bridge Models, DDBMs）的變種應運而生。DDBM 能夠建模兩個給定分布之間的橋接過程，從而很好地應用于圖像翻譯、圖像修復等任務。然而，這類模型在數學形式上依賴復雜的常微分方程 / 隨機微分方程，在生成高分辨率圖像時通常需要數百步的迭代，計算效率低下，嚴重限制了其在實際中的廣泛應用。

相比于標準擴散模型，擴散橋模型的推理過程額外涉及初始條件相關的線性組合和起始點的奇異性，無法直接應用標準擴散模型的推理算法。為此，清華大學朱軍團隊提出了一種名為擴散橋隱式模型（DBIM）的算法，無需額外訓練即可顯著加速擴散橋模型的推理。

• 論文標題：Diffusion Bridge Implicit Models
• 論文鏈接：https://arxiv.org/abs/2405.15885
• 代碼倉庫：https://github.com/thu-ml/DiffusionBridge

方法介紹

DBIM 的核心思想是對擴散橋模型進行推廣，提出了一類非馬爾科夫擴散橋（non-Markovian Diffusion Bridges）。這種新的橋接過程不僅與原來的 DDBM 擁有相同的邊緣分布與訓練目標，而且能夠通過減少隨機性，實現從隨機到確定性的靈活可控的采樣過程。

具體而言，DBIM 在模型推理過程中引入了一個方差控制參數 ρ，使得生成過程能夠在隨機采樣與確定性采樣之間自由切換。當完全采用確定性推理模式時，DBIM 能夠直接以隱式的形式表示生成過程。這種思想是標準擴散模型的著名推理算法 DDIM 在擴散橋模型上的推廣與拓展。

更進一步，DBIM 算法可以導出擴散橋的一種全新的常微分方程（ODE）表達形式，相較于 DDBM 論文中的常微分方程形式更加簡潔有效。

在此基礎上，作者首次提出了針對擴散橋模型的高階數值求解方法，進一步提升了推理的精度與效率。

此外，為了避免確定性采樣過程中出現的初始奇異性問題，作者提出了一種「啟動噪聲」（booting noise）機制，即僅在初始步驟中加入適當隨機噪聲，從而保證了模型的生成多樣性，并同時保留了對數據的編碼與語義插值能力。

實驗結果

作者在經典的圖像翻譯和圖像修復任務上進行了如下實驗：

• 在 Edges→Handbags（64×64）和 DIODE-Outdoor（256×256）圖像翻譯任務中，DBIM 僅需 20 步推理即可達到甚至超越 DDBM 模型 118 步推理的生成質量。當推理步數增至 100 步時，DBIM 進一步提升生成質量，在更高分辨率任務上全面領先。

• 在更具挑戰的 ImageNet 256×256 圖像修復任務中，DBIM 僅需 20 步推理便顯著超越了傳統擴散橋模型 500 步推理的效果，實現了超過 25 倍的推理加速。在 100 步推理時，DBIM 進一步刷新了這一任務的 FID 記錄。

通過參數 η 控制采樣過程中的隨機性大小，論文發現確定性采樣模式在低步數時具備顯著優勢，而適當增加隨機性能夠在較高步數下進一步提升生成多樣性與 FID 指標。這與標準擴散模型推理的性質相似。

此外，高階采樣器能夠在不同采樣步數下一致提升生成質量，增強圖像細節。

論文所用訓練、推理代碼及模型文件均已開源。如果你對 DBIM 感興趣，想要深入了解它的技術細節和實驗結果，可訪問論文原文和 GitHub 倉庫。