文章鏈接：https://arxiv.org/pdf/2410.04671
項目鏈接：https://github.com/MiracleDance/CAR

亮點直擊

• CAR是首個為自回歸模型家族設計的靈活、高效且即插即用的可控框架。
• CAR基于預訓練的自回歸模型，不僅保留了原有的生成能力，還能在有限資源的情況下實現可控生成——所用數據量不到預訓練所需數據的10%。
• 設計了一個通用框架來捕捉多尺度的控制表示，這些表示具有魯棒性，并能無縫集成到預訓練的基礎模型中。
• 大量實驗表明，CAR在各種條件信號下實現了精確的細粒度視覺控制。CAR有效地學習了這些條件的語義，能夠在訓練集中未見過的類別上實現魯棒的泛化。

總結速覽

解決的問題：

當前的視覺生成模型主要有兩種技術路徑：擴散模型和自回歸模型。擴散模型在生成控制上表現出色，但自回歸模型雖然具備強大的生成能力和可擴展性，控制性和靈活性方面仍然未被充分探索。

提出的方案：

提出了一種名為可控自回歸建模（CAR） 的全新框架，該框架可作為插件，整合條件控制機制到多尺度潛變量建模中，允許在預訓練的視覺自回歸模型中進行高效的控制生成。CAR逐步細化并捕捉控制表示，并將其注入到預訓練模型的每個自回歸步驟中，以引導生成過程。

應用的技術：

• 多尺度潛變量建模：用于捕捉和細化控制表示。
• 預訓練視覺自回歸模型：在預訓練模型的基礎上注入控制，逐步指導生成。
• 條件控制機制：整合到自回歸生成的每個步驟中，以實現細粒度控制。

達到的效果：

• 在各種條件下實現了出色的控制能力。
• 在圖像質量上優于以往的方法。
• 與預訓練模型相比，CAR在實現良好泛化能力的同時顯著減少了訓練資源需求。
• CAR是首個針對預訓練自回歸視覺生成模型的控制框架。

方法

首先介紹視覺自回歸建模中“下一尺度預測”范式的基礎概念。接著解釋了CAR框架如何通過多尺度潛變量建模控制視覺生成。通過應用貝葉斯推理，我們識別出CAR的學習目標是獲取一個魯棒的控制表示。最后詳細討論了控制表示的表達以及網絡優化策略。

自回歸建模的基礎知識

可控視覺自回歸建模

遵循VAR的“下一尺度預測”范式，CAR模型采用了多尺度潛變量框架，其中每個尺度的潛變量（token圖）捕捉逐步更高分辨率的圖像結構。控制信息提供了額外的觀測，用于輔助推斷每個尺度的潛變量。

控制表示和優化

控制表示表達

實驗

實驗設置

模型架構設計

數據集
在 ImageNet數據集上進行實驗。首先，為訓練集偽標記了五個條件：Canny 邊緣、深度圖、法線圖、HED 圖和草圖，允許 CAR 在不同的條件控制下分別進行訓練。從總共 1000 個類別中隨機選擇 100 個用于訓練 CAR，并在剩余的 900 個未見類別上進行評估，以評估其可泛化的可控性。

評估指標
利用 Fréchet Inception Distance (FID)、Inception Score (IS)、精準度和召回率指標來評估生成結果的質量。還與現有的可控生成方法（如 ControlNet和 T2I-Adapter）比較推理速度。

訓練細節
將預訓練的 VAR 深度設置為 16、20、24 或 30，并使用 VAR 的前半部分的權重初始化控制 Transformer T（.），以加速收斂。CAR 模型在 8 個 NVIDIA V100 GPU 上訓練 100 輪，推理速度在單個 NVIDIA 4090 GPU 上進行評估。

定量評估

與以前方法的比較
將 CAR 模型與兩個經典的可控生成基線 ControlNet 和 T2I-Adapter 進行了比較。為確保公平，我們在 ImageNet 數據集上重新訓練了這兩個模型，并對每個模型在所有五個條件注釋上分別進行訓練。如下表 1 所示，CAR 顯示出顯著的改進，FID 分別在 Canny、深度、法線、HED 和草圖條件下減少了 3.3、2.3、2.3、3.0 和 5.1，相較于 ControlNet。IS 指標也觀察到類似的改進。將這些收益歸因于自回歸模型的最新進展，這些模型通過在生成過程中逐步擴大分辨率，超越了擴散模型的圖像生成能力。除了圖像質量外，還比較了推理速度，CAR 的速度比 ControlNet 和 T2I-Adapter 快五倍以上，進一步凸顯了 CAR 在實際應用中的效率優勢。總體而言，這些令人鼓舞的定量結果表明，CAR 可以作為一種比基于擴散模型的 ControlNet 更高效、可擴展的可控生成范式。

不同類型條件的評估值得注意，HED 圖、深度圖和法線圖顯示出相對較優的指標，這可能歸因于輸入條件的清晰性和明確的目標。這些因素為模型提供了更精確的指導，提升了高質量圖像的生成。相比之下，草圖條件往往比較簡單，僅由基本輪廓構成，視覺細節較少，使其可控性較差，導致模型生成更自由。這可能導致圖像質量波動。

規模法則
評估 CAR 模型在其深度增加時的圖像質量。如下圖 3 所示，隨著模型深度的增加，CAR 在五種不同條件下生成更高質量的圖像，表現出更低的 FID 指標以及更高的 IS、精準度和召回率，這與自回歸生成建模的規模法則一致。在 HED 圖、深度圖和法線圖中觀察到最高的指標，而 Canny 邊緣和草圖則相對較低，這與表 1 的觀察結果一致。

用戶研究
研究者們邀請了 30 位參與者進行用戶研究，以評估CAR 在與之前的方法 ControlNet 和 T2I-Adapter 的生成性能比較。對于五種類型的條件，輸入 30 張條件圖像，并為每種方法生成相應的結果，每種方法生成 150 個結果。對于每個條件輸入，參與者需要根據三個標準選擇最佳結果：1）圖像質量，2）條件保真度，3）圖像多樣性。如下表 2 所示，CAR 在這三個方面均優于 ControlNet 和 T2I-Adapter，證明了所提出的可控自回歸建模的有效性。

消融研究

整體可控性和圖像質量
下圖 4 展示了CAR 模型根據給定的條件控制生成高質量和多樣化的結果。各種條件輸入的視覺細節在生成的圖像中得到了有效反映，確保了圖像與其對應條件之間的強對齊。值得注意的是，展示的類別不在訓練期間使用的 100 個類別之內，但 CAR 仍然能對這些未見類別實現精確控制，這表明CAR 學會了從給定的條件控制中提取一般語義信息，而不是對訓練集進行過擬合。這一優勢突顯了CAR 框架的跨類別泛化能力和強大的可控性。

數據分布分析從數據分布的角度分析 CAR 的可控性。具體而言，HED 圖被用作一種條件，引導圖像生成過程，這一條件是從真實圖像中提取的。我們采用一種不可控的傳統自回歸模型來生成比較樣本。我們應用 t-SNE可視化所有生成圖像的嵌入特征的前兩個主成分。這些嵌入特征是使用 HED 圖提取方法的主干提取的。

如下圖 5 所示，傳統自回歸模型的生成分布與真實圖像之間存在顯著的不對齊，因為傳統模型缺乏條件控制信息。相比之下，CAR 模型生成結果的分布與真實圖像密切對齊，表明我們的樣本準確捕捉了 HED 圖的視覺細節，使 HED 嵌入特征更接近真實圖像。這突顯了CAR 模型增強了基于提供的條件控制 C 生成結果的可控性和準確性。

消融研究

在 ImageNet 驗證集上進行消融研究，以探索 CAR 框架中每個組件（包括 F(·)、T(·) 和 G(·)）不同功能選擇的影響。

F(·) 的不同功能選擇
探討了不同方法引入條件控制 ck 以形成 sk 在 F(·) 中的影響。具體而言，比較了兩種策略：1）使用 VAR 模型的預訓練 VQ-VAE 編碼器直接將條件圖像映射到不同尺度的標記圖；2）我們的方法，通過像素級調整條件圖像至不同尺度，使用共享的可學習卷積編碼器進行控制特征提取。

結果如表 3 所示，可學習編碼器在 IS 分數上顯示出顯著改善，表明圖像質量得到提升。我們推測，預訓練的 VQ-VAE 編碼器設計用于圖像重建，可能無法有效捕捉圖像語義，因此不太適合提取控制語義。圖 6 的可視化結果也證明了這一點，使用 VQ-VAE 編碼器的生成圖像存在失真和質量差的問題。

T(·) 的不同功能選擇
我們設計了 T(·) 的編碼器以提取準確有效的控制表示 ?sk。具體而言，我們比較了兩種架構：1）簡單卷積網絡；2）GPT-2 風格的 Transformer。下表 3 和圖 6 顯示，Transformer 相比簡單卷積網絡基線在圖像質量上顯著更高，這歸因于其強大的表示能力。同時，基于 Transformer 的編碼器與預訓練自回歸模型的架構相匹配，可能導致更接近的分布，增強后續注入過程。

G(·) 的不同功能選擇
我們比較了不同的注入函數 G(·)，在預訓練自回歸模型中將控制表示 ?sk 注入圖像表示 rk，以更新圖像表示 ?rk。具體而言，我們比較了三種技術：1）對控制表示應用零卷積（Zhang et al., 2023），然后加上控制和圖像特征；2）應用交叉歸一化，使用圖像表示的均值和方差歸一化控制表示，然后將這兩個特征相加；3）我們的方法，將兩個表示進行拼接，應用可學習的 LayerNorm 進行歸一化，然后進行線性變換以調整通道維度。如上面表 3 所示，無論在加法之前是否應用零卷積和交叉歸一化，添加圖像和控制特征都會導致 IS 指標下降。這表明這些操作導致的圖像質量降低，與我們的方法相比，生成結果在圖像質量和自然性上表現較差。我們將此歸因于兩種不同領域表示的不兼容性。盡管交叉歸一化試圖對齊領域間的分布差異，但這種操作是不夠的。因此，拼接這兩個表示，再進行 LayerNorm，更有效地協調條件特征和主干特征，從而解決數據分布中的差異。

結論

本文提出了可控自回歸建模（CAR），該模型建立了一種新穎的控制 VAR 生成的范式。CAR 捕捉了強大的多尺度控制表示，這些表示可以無縫集成到預訓練的自回歸模型中。實驗結果表明，CAR 在可控性和圖像質量方面均優于現有方法，同時降低了所需的計算成本。CAR 代表了自回歸視覺生成的一個重要進展，為各種可控生成任務提供了一種靈活、高效且可擴展的解決方案。

討論與未來工作

盡管所提出的 CAR 框架在可控視覺生成方面表現出色，但仍面臨 VAR 模型固有的一些限制。具體而言，依賴于順序token預測有時會限制模型的效率，特別是在處理長圖像序列或需要在高分辨率下進行精細控制時。CAR 中使用的多尺度注入機制也可以擴展，以探索替代注入策略，例如基于注意力的或自適應注入，以進一步增強控制精度。此外，盡管當前設計在遞歸方式中優秀地注入了控制信號，但擴展框架以處理更復雜的任務，如視頻生成，仍然是未來工作的一個開放挑戰。

本文轉自 AI生成未來 ，作者：Ziyu Yao等

原文鏈接:??https://mp.weixin.qq.com/s/WpjvAMQiRfW8PfnFjH24Pw??