ACM MM 2024 | 比SDXL和DALL-E·3更引人入勝！ReCorD:交互場景生成最新SOTA！
文章鏈接：https://arxiv.org/pdf/2407.17911
git鏈接：https://alberthkyhky.github.io/ReCorD/
亮點直擊：
- 引入了一種新穎的推理框架，將潛在擴散模型（LDM）與視覺語言模型（VLM）相結合，以克服生成逼真的人與物體互動（HOI）時面臨的挑戰，緩解了以往方法中的問題，例如大語言模型（LLM）對簡單文本提示的過度分析以及LDM中的訓練數據偏差。
- 為了提升人物形象描繪的準確性，在LDM中設計了一個校正機制，用于動態圖像調整，使得對生成圖像中人類互動的精確控制和精細化成為可能，從而顯著提高了描繪的準確性。
- 大量實驗表明，本文的免訓練方法ReCorD在創建引人入勝且逼真的HOI場景方面表現出色，優于其它SOTA方法。
擴散模型通過利用自然語言引導多媒體內容的創作，徹底改變了圖像生成技術。盡管在這些生成模型上取得了顯著進展，但在描繪人類與物體的詳細互動方面仍存在挑戰，特別是在姿勢和物體放置準確性方面。
本文引入了一種名為推理和校正擴散(ReCorD)的免訓練方法來解決這些挑戰。該模型結合了潛在擴散模型和視覺語言模型，以優化生成過程，確保精確描繪人與物體的互動（HOI）。提出了一個互動感知推理模塊來改進互動的解釋，并引入一個互動校正模塊，以精細化輸出圖像，達到更精確的HOI生成效果。通過精心的姿勢選擇和物體定位過程，ReCorD在生成圖像的保真度方面表現出色，同時有效減少了計算需求。在三個基準上進行了全面的實驗，展示了在解決文本到圖像生成任務上的顯著進展，ReCorD通過在HOI分類評分、FID和動詞CLIP評分上的優越表現，展示了其精確渲染復雜互動的能力，優于現有方法。
方法
ReCorD，是一種免訓練優勢的互動感知模型。生成的圖像依賴于人類采用適當的姿勢，并確保物體根據給定的文本提示位于合適的位置。生成流程包括三個模塊：粗略候選生成、互動感知推理和互動校正。將這些模塊分別簡稱為、和。通過觀察到擴散模型在早期去噪步驟中捕捉初始布局，并在后期迭代中細化細節，將去噪過程分解為兩個階段，即和。在前一階段，生成k個粗略候選，而根據文本提示建議理想的姿勢和布局。隨后，在保留選定姿勢的同時糾正物體位置，將粗略圖像細化為所需的圖像。重要的是，ReCorD賦予擴散模型創建與文本提示一致的圖像的能力，突出了復雜的空間條件和復雜的互動，而無需額外訓練。整體流程如下圖2所示。
粗略候選生成模塊
給定描述HOI三元組（即“主體正在對物體進行某個動作”）的文本提示??，通過在中采用不同的注意力機制來增強互動表示。更具體地說，操控交叉注意力和自注意力圖生成與提示動作相關的候選圖像??。
交叉注意力圖操控。為了便于生成與文本信息相關的圖像，在LDMs中使用交叉注意力圖來整合這些條件。在去噪過程中，LDMs最初從高斯分布N(0,1)中采樣潛在向量，并逐步去除噪聲以在每一步中獲得。通過文本編碼器將提示??編碼為文本tokens后，交叉注意力圖定義如下：
其中，和分別表示通過相應投影函數得出的查詢和鍵embeddings。??和??分別是空間歸一化和來自CLIP的文本編碼器，生成中間表示和??個文本tokens 。為簡化起見，在操控注意力圖時省略了表示去噪步驟的下標t。
在生成HOI場景時，建模交叉注意力圖以表示互動（即??中的動詞）具有挑戰性，導致動詞標記的表示模糊。為了解決這一問題，提出了一種替代的不及物提示，這通常排除y中與物體相關的描述。使用，可以通過在公式（1）中用替換K來導出交叉注意力圖。如下圖3所示，使用時，相比于A捕捉到了更多的信息線索，特別是對動詞標記，從而生成更具互動性的表示。通過重新排列最終的交叉注意力圖，公式如下：
其中，??表示文本標記的索引。理想情況下，如果文本tokens存在于不及物提示中，會接受這些注意力圖。
自注意力圖操控。與交叉注意力圖不同，自注意力圖缺乏直接的tokens關聯，但仍然會影響生成圖像的空間布局和外觀。因此，在去噪步驟?? >??后，同樣對潛在表示的自注意力圖進行操控，以獲得，其中??是一個預定義參數，確保可以有效生成來自原始token ??(??)的場景和物體。
互動感知推理模塊
作為連接其他模塊的中間模塊，在中生成粗略候選后，提出了互動感知推理模塊 （見下圖4）。該模塊由兩個由VLM驅動的組件組成：姿勢選擇agent和布局agent。具體來說，姿勢選擇agent選擇與提示??一致的圖像，而布局agent調整物體的位置，保留人關鍵點P，并進一步確定校正模塊M??的目標位置。
姿勢選擇Agent。由于姿勢在HOI生成中具有重要特征，首先結合一個agent來選擇與提示條件一致的適當姿勢。姿勢選擇agent將初始提示??與先前生成的候選相結合，以創建姿勢模板。利用VLM的視覺理解能力，該agent在識別與??對應的精確姿勢方面表現出色，增強了模型對視覺數據的解釋能力，而不僅僅依賴于LLM中的文本認知。這一步驟確保了從LDMs初始獲得的姿勢信息在后續階段得到精細化處理。
布局Agent。為了解決LLM輔助方法過于依賴提示來采樣布局的問題，將識別出的關鍵點P和人體的邊界框作為附加數據。認識到互動涉及人與物體的關系，使用33個關鍵點在(??,??)坐標中收集P的重要信息，并表示。此外，使用先前agent選擇的圖像作為VLM的輸入來執行布局建議任務。
首先使用Otsu算法提取物體位置，這是一種自動閾值技術，應用于物體的交叉注意力圖，以隔離具有較高值的區域。隨后， 使用MediaPipe Pose Landmark檢測人體關鍵點以創建分割mask 。接著，為VLMs制定一系列指南和固定協議，包括對的約束，以保持預期人體姿勢的完整性，并通過減少重疊策略來提高包含多個物體的生成圖像的質量。
此外，受鏈式思維方法[59]的啟發，通過引導VLMs構建視覺屬性信息來增強人類姿勢的邏輯連貫性。基于多個視覺屬性（例如姿勢類型、身體方向、物體關系等）在邏輯推理中支持VLMs。借鑒以往研究[5, 39]的見解，為VLMs準備了三個示例，以幫助澄清視覺表示，防止過度分析和幻覺，以構建互動模板。
最終，通過文本抓取提取建議的位置，用于框約束損失公式（4），并集成一個檢查機制來確定的變更是否在預定閾值內。如果變更很小，表示差異不大，將不向發出更改信號。此機制對于保持簡化且資源高效的生成過程至關重要，確保只有顯著的位置調整才會促使進一步行動。
互動校正模塊
在中細致地優化由雙agent提供的候選圖像，同時保留原有人體姿勢，如下圖5所示。為了結合LDMs的生成能力與VLMs的推理能力，我們逐步更新潛變量，根據與互動相關的邊界框調整物體的位置和大小。值得注意的是，在的過程中進行去噪，包括交叉注意力和自注意力圖的調制。
同時修改物體位置時，需要考慮與人體可能重疊的情況，因為來自不同token的交叉注意力圖可能在同一區域表現出強值，這將降低圖像質量。為了解決這一挑戰，引入了消除注意力重疊的機制。具體來說，給定物體的token索引為??，在每個時間步??使用交叉注意力圖構建一個逆mask，記為，其中??是與維度相同的張量，所有元素均為1。然后將這個逆注意力圖應用于其余的圖，通過逐元素乘積操作定義如下：
通過公式（3），可以在更新物體位置時減輕人與物體之間的注意力重疊問題，確保成功生成更新后的物體。
條件空間約束 由于ReCorD是免訓練的，并且不涉及用于知識轉移的額外可學習網絡，采用框約束來規范去噪器，其公式如下：
其中，序列順序中的每一項分別表示內框、外框和角點約束。在每個時間步??使用對應的權重應用公式（4）來更新潛變量：
通過在每一步對進行輕微更新，確保物體與框區域保持足夠的互信息并符合指定的大小，即，從而準確糾正物體的位置以表示互動。由于LDM旨在迭代去噪并涉及作為中介的注意力圖，是在操控前的時間步??的擴散過程，該過程會查找相應的注意力圖。在通過提出的ReCorD之后，去噪UNet被重復使用以預測下一步的潛在表示。正式地，表示采用操控過的注意力圖的擴散模型，結果為預測，即。
實驗
實驗設置
數據集。鑒于缺乏專門為HOI生成設計的標準基準，通過從兩個已建立的HOI檢測數據集中提取HOI三元組來評估我們方法的有效性，即HICO-DET和VCOCO，以形成輸入文本提示。HICO-DET包含600個三元組，涵蓋80個物體類別和117個動詞類別，而VCOCO包含228個三元組，跨越80個物體類別和29個動詞類型。為了全面評估，結合了T2I-CompBench中的非空間關系類別，該類別包含875個互動術語。選擇T2I-CompBench中僅涉及HOI的提示。為了增強多樣性，對從數據集中提取的每個動詞和物體對應用隨機主體增強以形成輸入提示。因此，實驗在三個數據集上進行：HICO-DET，有7,650個HOI提示；VCOCO，提供2,550個提示；以及T2I-CompBench的非空間關系類別，增加465個提示。
Baselines。與九個表現強勁的模型的比較，
- T2I模型：Stable Diffusion (SD)、Attend-and-Excite (A&E)、SDXL和DALL-E 3。
- L2I模型：BoxDiff、MultiDiffusion和InteractDiffusion。
- LLM輔助的T2I模型：LayoutLLM-T2I和LMD。
使用了每個Baseline的官方實現和默認設置。對于L2I模型，除了文本提示外，還提供了來自HICO-DET和VCOCO數據集的實際邊界框數據。對于LLM輔助的方法，輸入布局完全由LLMs生成，而不是來自數據集。
評估指標。為了測量生成圖像中的互動情況使用CLIP-Score 來評估輸入文本和生成圖像之間的相似性。雖然這個指標通常用于估計對文本提示的忠實度，但注意到它傾向于名詞或物體偏倚，CLIP經常無法區分動詞，而是依賴名詞[40, 66]。為了解決這個問題，專門提取文本提示中的動詞，并計算動詞CLIP-Score 。此外，引入了HOI分類得分來評估互動表現。通過將一個預訓練的最先進HOI檢測器轉化為分類器，評估生成圖像中的HOI實例，并將其與HICO-DET和VCOCO的實際情況進行比較。HOI分類的準確性根據前三名準確度進行評估。HOIFull和HOIRare分別表示HICO-DET數據集中完整集合和稀有集合的得分。稀有集合是基于數據集中實例少于10個的標準選擇的。此外，使用Fréchet Inception Distance (FID)和PickScore來評估圖像質量。FID比較真實圖像和生成圖像之間的Inception特征的Fréchet距離分布，而PickScore是一種文本-圖像評分指標，在預測用戶偏好方面超越了人類表現。
實現細節。選擇Stable Diffusion模型作為默認backbone，并將GPT4V作為中的VLM。將無分類器引導的比例設置為7.5，去噪步驟為，，并在去噪步驟中使用DDIM調度器。粗略候選的數量?? = 5，超參數?? = 5啟動自注意力圖的操控操作。對于評估，HICO-DET和VCOCO數據集每個三元組生成一張圖像，而T2I-CompBench每個三元組生成三張圖像。
質量結果
提供了一個定性比較來評估生成的HOI。如下圖6所示，ReCorD在生成符合文本提示的真實人體姿勢和物體位置方面優于其他最先進的方法，證明了其在高保真度描繪物體互動方面的能力。相比之下，Baseline方法往往會錯誤地放置物體或無法捕捉預期動作的細微差別。對于L2I模型，雖然BoxDiff在物體大小要求方面表現良好，但在準確描繪互動姿勢方面存在困難；InteractDiffusion即使經過微調，仍無法準確呈現細微動作，如（a）、（d）、（e）和（f）所示；MultiDiffusion盡力實現精確的物體定位，但生成的圖像大小各異。
另一方面，盡管LayoutLLM-T2I利用語言模型來改善布局生成，但通常會產生與人類不成比例的物體，這在（e）和（f）中尤為明顯。此外，MultiDiffusion定義了一種新的生成優化過程，但它嚴重依賴于預訓練模型的先驗知識。特別是，SDXL在動作姿勢（a）、（b）、（d）和（e）方面存在困難，而DALL-E 3在物體大小和位置（a）、（c）、（e）和（f）方面存在問題，顯示了ReCorD在超越現有解決方案的局限性方面的關鍵進展。
定量結果
生成結果的定量比較，其中HICO-DET和VCOCO的數據提示見下表1，T2I-CompBench數據提示見表2。
CLIP基礎的圖像-文本相似性。CLIP-Score 的結果顯示，ReCorD在HICO-DET和T2I-CompBench數據集上優于其他方法，并且在VCOCO數據集上與MultiDiffusion相當。此外，ReCorD在三個數據集中都在動詞CLIP-Score 方面取得了最佳結果，這確認了生成更緊密匹配的互動的能力。
圖像質量評估。根據PickScore評估，ReCorD模型與SDXL模型相當，并且優于其他方法。這表明，在將設計的互動校正模塊與SD模型結合后，ReCorD可以保持模型的圖像生成質量，同時實現更真實的互動。此外，當使用FID分數比較HICO-DET和VCOCO數據集中的生成圖像與真實圖像時，ReCorD優于其他方法，除了InteractDiffusion。值得注意的是，考慮到InteractDiffusion使用HICO-DET和COCO數據集進行了微調，ReCorD在無需訓練或額外HOI數據的情況下表現尤為突出。
互動準確性評估。上表1驗證了ReCorD顯著提高了HOI生成的準確性，顯示了在合成更精確HOI方面的效果。
生成速度和內存使用
生成一張圖像時，使用了Nvidia RTX 6000 GPU，當使用SD/SDXL作為骨干網時，內存消耗分別為14/42 GB，總推理時間為40.66/61.48秒。
比較布局建議的MLLM
評估了BLIP-2，通過隨機調整HICO-DET中真實邊界框的大小和位置。然而，BLIP-2常常誤解現實世界的分布，提供無關的答案和無效的mIoU分數。相比之下，GPT-4V達到了49.72%的mIoU分數，展示了優越的布局建議準確性，使其非常適合ReCorD。
GPT-4V的評估
根據T2I-CompBench對非空間關系的評估，ReCorD取得了98.16的GPT分數，優于SOTA T2I方法如SDXL（97.87）、MultiDiffusion（97.43）和LayoutLLM-T2I（96.75）。這證明了ReCorD生成與基礎模型知識對齊的準確HOI圖像的能力。
消融研究
在消融研究中，下圖7展示了集成了ReCorD模塊的SD HOI生成結果：(a) 僅使用SD，(b) 使用SD和，(c) 使用、 + + 。僅使用的情況下，生成的輸出效果較差，這可能受到其訓練數據中固有偏差的影響，導致對文本提示中描述的意圖交互的誤解。從(b)的結果來看，加入后，由于采用了非及物提示調整技術，生成的人的動作準確性顯著提高，這表明簡化提示以專注于核心動作能夠使模型更精確地生成預期的姿勢。然而，它仍然在準確定位圖像中的物體方面存在困難，導致交互錯誤。對于ReCorD，有助于選擇合適的姿勢并保留合適的候選項，而則對圖像進行細化，以獲得正確的對象大小和位置的準確交互，同時保持所選姿勢。因此，(c)中的完整pipeline的HOI生成展示了最成功的結果。
結論
本文引入了專門為HOI（人-物體交互）圖像生成量身定制的ReCorD框架。該方法包括三個特定于交互的模塊，這些模塊相互協作。核心思想圍繞使用基于VLM（視覺語言模型）的agent和LDM（潛在擴散模型）來推理布局和修正注意力圖，以解決這一挑戰。大量實驗證明了本文方法在提高圖像準確性和語義忠實度方面的有效性，特別是在捕捉復雜交互概念方面，這是許多Baseline生成模型難以處理的。此外，通過各種協議和針對HOI生成的用戶調查量化了我們的改進，提供了有價值的見解，并為該領域未來的探索鋪平了道路。
本文轉自 AI生成未來 ，作者：JianYu JiangLin
