論文鏈接：https://arxiv.org/pdf/2506.15563

給定用戶提供的邊界框和主題提示，**WinWinLay** 使用預訓練的擴散模型 (如 SDXL) 生成可控且逼真的圖像, 無需使用配對數據進行任何微調。

亮點直擊

• 首次對現有反向引導方法進行了理論分析。基于該理論洞見，提出了面向布局生成圖像（Layout-to-Image）的先進方法WinWinLay，在控制精度與真實感質量上實現顯著突破。
• 提出新型非局部注意力能量函數，在保持物體自然結構的同時，使模型更嚴格遵循空間約束。
• 開發了基于朗之萬動力學的自適應更新方案，在保持效率的前提下，徹底消除布局指令與真實視覺效果之間的權衡問題。
• WinWinLay在控制性與生成質量上的卓越表現，從而推動L2I生成技術的實際應用落地。

總結速覽

解決的問題

• 布局控制不精確：現有基于預訓練文本到圖像（T2I）擴散模型的布局到圖像（L2I）方法存在物體定位偏差，無法均勻覆蓋指定區域，導致生成結果與布局指令不一致。
• 圖像質量下降：傳統反向傳播更新規則會偏離預訓練模型的分布，導致生成圖像出現不真實偽影（out-of-distribution artifacts），在控制強度與視覺保真度之間存在權衡。

提出的方案

• 非局部注意力能量函數（Non-local Attention Energy Function）：

• 通過理論分析指出傳統注意力能量函數存在空間分布偏差，提出非局部注意力先驗重新分配注意力分數，使物體更均勻對齊布局。
• 引入衰減調度（decaying schedule），逐步降低先驗強度，避免不規則形狀物體（如椰子樹）被強制約束為剛性框狀。

• 基于朗之萬動力學的自適應更新（Adaptive Update）：
• 設計一種結合布局約束和預訓練模型分布的雙向更新策略，通過朗之萬動力學平衡兩者方向。
• 采用自適應權重策略動態調整不同采樣步驟中的更新方向，避免復雜超參數搜索。

應用的技術

• 非局部注意力機制：重新分配跨注意力分數，消除空間偏差。
• 朗之萬動力學（Langevin dynamics）：在梯度更新中引入隨機性，確保生成結果既符合布局約束又保持預訓練模型的分布特性。
• 衰減調度：動態調整先驗強度，適應不同去噪步驟的需求。

達到的效果

• 精準布局控制：物體能夠均勻分布在指定區域內，顯著提升空間對齊精度。
• 高視覺保真度：生成的圖像保持真實感，避免偽影和失真，優于當前訓練免費（training-free）的SOTA方法。
• 效率與泛化性：無需額外訓練或數據，直接利用預訓練T2I模型實現高質量L2I生成。

方法

WinWinLay，一種免訓練的布局到圖像生成框架。首先詳細闡述非局部注意力能量函數，用于增強布局約束；隨后探討自適應更新，以消除控制與質量之間的權衡。

非局部注意力能量函數

注意力能量函數是廣泛用于引導注意力重分配的損失項，但常導致物體僅占據邊界框的局部區域，阻礙精確控制。為此，引入非局部注意力先驗，促使注意力在指定位置平滑分布。

注意力能量函數回顧根據注意力能量函數，可將公式（2）直觀改寫為公式（4）的形式：

定理4.1

證明

首先，q關于v的雅可比矩陣可計算如下：

根據鏈式法則，v的梯度可表示為：

將上述公式聯立可得：

通過上述問題分析可得出結論：在優化過程中，掩膜區域內初始值較大的patch會放大其相對優勢，從而抑制其他區域的增長。這意味著能量函數重分配的注意力圖存在隱式偏差，傾向于初始值較大的區域，因此難以均勻覆蓋整個邊界框。

非局部注意力先驗

為適應現實場景中物體的不規則形狀，本文引入了一個超參數ρ，該參數隨去噪時間步長線性遞減，使物體能夠適應自然結構。與現有研究類似，僅對中間層及首個上采樣層中與對應令牌相關的交叉注意力進行重新分配。

自適應更新

盡管反向傳播更新方法簡單，但難以平衡布局約束與圖像質量。因此，本文提出基于朗之萬動力學和自適應分布構建的自適應更新方法，持續提升輸出質量。

朗之萬動力學更新

通過從方程 (17) 減去方程 (18):

這一設計使我們能夠以可忽略的成本有效緩解權衡問題，使其更適用于實際應用。

實驗

本節首先介紹實驗設置，隨后進行定性和定量實驗，將本文的方法與之前最先進的布局到圖像生成（Layout-to-Image）方法進行比較。此外，我們還進行了消融實驗，以驗證所提方法的有效性。

實驗設置

評估基準。與先前工作類似，本文在 COCO2014和 Flickr30K數據集上對 WinWinLay 進行定量評估。在性能評估方面，采用 YOLOv7進行目標檢測，并使用 AP等指標衡量方法在準確定位和生成物體方面的有效性。此外，利用 CLIP-s定量評估圖像-文本兼容性，從而衡量合成圖像的語義準確性。同時還采用 FID、PickScore和 ImageReward等優勢指標評估圖像質量。在此，將文本模板設置為“A photo of [prompt]”以獲得更真實的結果。

實現細節

與 SOTA 方法的比較

本文將 WinWinLay 與四種代表性的最先進方法進行比較：Layout-Control、AttRe、R&B和 CSG，以展示其優勢。所有方法均基于官方代碼實現。

?

定量比較。如下表 1 所示，首先在測試數據集上對生成圖像進行定量評估。與 Layout-Control 和 AttRe 相比，CSG 在物體放置準確性上表現出顯著提升。然而，實驗中發現其對梯度強度高度敏感，更高的準確性往往導致圖像質量嚴重下降，尤其是在生成大量物體時。相比之下，本文的方法在多個數據集和評估指標上均表現優異，展現了更穩健的改進。

通過用戶研究評估人類對生成結果的偏好。研究分為兩部分：可控性和質量。在第一項研究中，參與者需選擇最符合給定布局的圖像；第二項研究則要求識別外觀最真實的圖像。為確保清晰性和可重復性，我們在類 Mechanical Turk 平臺“問卷星”上開展研究。150 名參與者評估了 50 對圖像，每項研究收集 7500 份反饋。圖像與布局提示并排顯示，問題和圖像位置均隨機排列以避免偏差。如表 1 所示，27.7% 的生成結果在兩個指標上均被評為最優，證明了 WinWinLay 的顯著優勢。

?

定性比較。為更直觀地展示模型性能，在包含 3-5 個物體的手工數據集上進行實驗。為公平比較，每種方法在相同隨機種子下生成 10 張圖像，并根據 AP50 選取最優結果展示。下圖 4 中每組展示 2 張圖像，結論如下：(i) 本文的方法能夠將目標物體精準放置在給定區域內，同時完整填充邊界框且不破壞物體自然結構，相比現有方法有顯著提升。而其他方法常無法嚴格遵循布局（如第 1 行），或導致物體部分區域坍縮（如第 4 行）；(ii) WinWinLay 成功消除了控制與質量之間的權衡，在附加布局約束下仍保持基礎模型的生成能力。現有工作則過度關注布局貼合而犧牲物體真實性（如第 3 行）。此外，相同提示和空間約束下生成的多組結果證明了 WinWinLay 的魯棒性，進一步推動了布局到圖像生成在實際應用中的進展。

消融實驗

所提策略的效果。為驗證方法的有效性，在基線模型上逐步引入非局部注意力能量函數（Non-local Attention Energy Function）和自適應更新（Adaptive Update），并觀察性能變化。如下圖5所示，非局部注意力能量函數顯著增強了對布局的控制能力，同時確保所有目標物體的準確呈現；而自適應更新不僅提升了空間定位精度，還改善了整體圖像質量（例如"長頸鹿"的生成更真實）。表2的定量結果與視覺觀察一致：非局部注意力能量函數使AP和AP50大幅提升，自適應更新則進一步優化了空間定位并提高圖像質量。

結論

本文提出WinWinLay——一種無需訓練的布局到圖像生成框架，在布局精度和視覺保真度上取得顯著提升。針對現有方法的局限，WinWinLay包含兩個創新組件：(1) 非局部注意力能量函數，確保注意力在指定布局內均勻分布的同時保持物體自然結構；(2) 自適應更新，利用Langevin動力學平衡布局控制與圖像質量。標準基準測試表明，WinWinLay在可控性和真實感上均超越現有方法，為L2I任務提供了高效魯棒的解決方案。

影響聲明

本研究提出的免訓練布局控制圖像生成方法在增強可控性的同時保留了基礎模型的生成能力，但與其他生成技術類似，可能被濫用制造虛假信息，這凸顯未來需針對布局引導生成涉及的倫理風險開展研究。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/-IU46Hy9hv0vYGrpS6DirQ??