文章鏈接：https://arxiv.org/pdf/2410.13370
項目鏈接：https://correr-zhou.github.io/MagicTailor

亮點直擊

• 引入了一項名為組件可控個性化的新任務(wù)，使T2I模型在個性化過程中能夠精確控制概念的各個組件。此外，語義污染和語義不平衡被確定為此任務(wù)中的關(guān)鍵挑戰(zhàn)。
• 提出了MagicTailor，這是一個專門為組件可控個性化設(shè)計的新框架。該框架結(jié)合了動態(tài)掩碼退化（DM-Deg），用于動態(tài)擾動不需要的視覺語義，以及雙流平衡（DS-Bal），以確保視覺語義的平衡學(xué)習(xí)。
• 綜合對比表明，MagicTailor在該任務(wù)中取得了優(yōu)異的性能。此外，消融研究和進(jìn)一步的應(yīng)用展示了該方法的有效性和多功能性。

總結(jié)速覽

解決的問題

傳統(tǒng)的文本到圖像(T2I)擴(kuò)散模型在生成高質(zhì)量圖像方面有了顯著進(jìn)展，但仍難以精細(xì)控制特定的視覺概念。現(xiàn)有方法雖然可以通過學(xué)習(xí)參考圖像來復(fù)制給定的概念，但在個體組件的細(xì)粒度自定義方面存在局限性。這種細(xì)粒度的控制受限于語義污染（不需要的視覺元素會干擾個性化概念）和語義不平衡（概念與組件之間的學(xué)習(xí)不均衡）兩個主要挑戰(zhàn)。

提出的方案

為了解決這些問題，提出了“組件可控個性化”的新任務(wù)，并設(shè)計了創(chuàng)新框架MagicTailor。MagicTailor通過動態(tài)掩碼退化（DM-Deg） 動態(tài)干擾不需要的視覺語義，同時使用 雙流平衡（DS-Bal） 建立了平衡的學(xué)習(xí)方式，從而實現(xiàn)對目標(biāo)視覺語義的精細(xì)控制。

應(yīng)用的技術(shù)

• 動態(tài)掩碼退化（DM-Deg）：動態(tài)擾動不需要的視覺語義，減少語義污染。
• 雙流平衡（DS-Bal）：建立平衡的學(xué)習(xí)模式，解決語義不平衡問題。

達(dá)到的效果

通過廣泛的對比實驗、消融分析和性能分析，MagicTailor在組件可控的個性化任務(wù)上表現(xiàn)優(yōu)異，展示出顯著的實用潛力，為更細(xì)致和富有創(chuàng)造力的圖像生成鋪平了道路。

組件可控的個性化

• (a) 個性化插圖，展示文本到圖像 (T2I) 擴(kuò)散模型如何從給定的參考圖像中學(xué)習(xí)和再現(xiàn)視覺概念。
• (b) 組件可控個性化的圖示，描繪了一項新制定的任務(wù)，旨在在個性化過程中修改視覺概念的特定組件。
• (c) MagicTailor 生成的示例圖像，展示了所提出的 MagicTailor 的有效性，MagicTailor 是一種新穎的框架，采用 T2I 擴(kuò)散模型來實現(xiàn)組件可控的個性化。

組件可控個性化的挑戰(zhàn)

• (a) 語義污染：

• (i) 不受歡迎的視覺元素可能會無意中擾亂個性化概念。
• (ii) 簡單的屏蔽策略是無效的，會導(dǎo)致意外的合成
• (iii) DM-Deg 有效地抑制了不需要的視覺語義，防止了這種污染。

• (b) 語義不平衡：
• (i) 同時學(xué)習(xí)概念和組件可能會導(dǎo)致不平衡，導(dǎo)致概念或組件扭曲（這里介紹前者的情況）。
• (ii) DS-Bal 確保平衡學(xué)習(xí)，提高個性化表現(xiàn)。

MagicTailor Pipeline

MagicTailor 使用參考圖像作為輸入，通過低秩自適應(yīng) (LoRA) 微調(diào) T2I 擴(kuò)散模型，以學(xué)習(xí)目標(biāo)概念和組件，從而能夠生成將組件無縫集成到概念中的圖像。

本文引入了動態(tài)掩碼退化（DM-Deg），這是一種動態(tài)干擾不需要的視覺語義的新技術(shù)。這種方法有助于抑制模型對不相關(guān)視覺細(xì)節(jié)的敏感性，同時保留整體視覺上下文，從而有效減輕語義污染。

此外，采用雙流平衡（DS-Bal），一種旨在平衡視覺語義學(xué)習(xí)的雙流學(xué)習(xí)范式，來解決語義不平衡的問題。在線去噪 U-Net 執(zhí)行樣本最小-最大優(yōu)化，而動量去噪 U-Net 應(yīng)用選擇性保留正則化，確保更忠實的個性化。

算法總覽

動態(tài)mask退化

在此任務(wù)中，主要挑戰(zhàn)之一是語義污染，其中不需要的視覺語義可能被 T2I 模型感知，從而“污染”個性化概念。如圖 2(a.i) 所示，目標(biāo)概念（即人）可能會受到目標(biāo)組件的所有者（即眼睛）的嚴(yán)重干擾，導(dǎo)致生成混合的人物。不幸的是，直接遮蔽目標(biāo)概念和組件以外的區(qū)域會破壞整體視覺上下文，從而導(dǎo)致過擬合和奇怪的組合，如圖 2(a.ii) 所示。因此，參考圖像中不需要的視覺語義應(yīng)當(dāng)妥善處理。因此，我們提出了動態(tài)掩膜降解（Dynamic Masked Degradation，DM-Deg），旨在動態(tài)擾動不需要的視覺語義（見圖 3），以抑制 T2I 模型對這些語義的感知，同時保持整體視覺上下文（見圖 2(a.iii)）。

雙流平衡

在此任務(wù)中，另一個主要挑戰(zhàn)是語義不平衡，這源于目標(biāo)概念與組件之間固有的視覺語義差異。一般而言，一個概念的視覺語義通常比組件更為豐富（例如，人物與頭發(fā)），而在某些情況下，組件的語義豐富性可能大于概念（例如，簡單的塔與復(fù)雜的屋頂）。這種不平衡使得聯(lián)合學(xué)習(xí)過程變得復(fù)雜，可能會過度強(qiáng)調(diào)概念或組件中的某一方，導(dǎo)致生成的不連貫性（見圖 5(a)）。為了解決這一挑戰(zhàn)，設(shè)計了雙流平衡（Dual-Stream Balancing，DS-Bal），建立了一種在線和動量去噪 U-Net 的雙流學(xué)習(xí)范式（見圖 3），以平衡概念和組件的視覺語義學(xué)習(xí)，從而提高個性化的保真度（見圖 5(b)）。

定性結(jié)果

展示了由 MagicTailor 生成的圖像以及針對各個領(lǐng)域的個性化的 SOTA 方法。 MagicTailor 總體上實現(xiàn)了良好的文本對齊、強(qiáng)大的身份保真度和高生成質(zhì)量。

定量結(jié)果

將 MagicTailor 與基于自動指標(biāo)（CLIP-T、CLIP-I、DINO 和 DreamSim）和用戶研究（人類對文本對齊、身份保真度和生成質(zhì)量的偏好）的 SOTA 個性化方法進(jìn)行比較。最佳結(jié)果以粗體標(biāo)記。

MagicTailor 可以在這項具有挑戰(zhàn)性的任務(wù)中取得卓越的性能。

結(jié)論

本文引入了組件可控個性化這一新任務(wù)，允許在個性化概念中精確定制各個組件。解決了使該任務(wù)特別困難的兩個主要挑戰(zhàn)：語義污染（不需要的視覺元素破壞概念的完整性）和語義不平衡（導(dǎo)致視覺語義學(xué)習(xí)過程偏差）。為應(yīng)對這些挑戰(zhàn)，提出了MagicTailor這一創(chuàng)新框架，包含動態(tài)掩碼退化（DM-Deg）以緩解不需要的視覺語義影響，以及雙流平衡（DS-Bal）以確保視覺組件的平衡學(xué)習(xí)。全面實驗表明，MagicTailor不僅在這一具有挑戰(zhàn)性的任務(wù)中樹立了新的基準(zhǔn)，還為廣泛的創(chuàng)意應(yīng)用開辟了令人興奮的可能性。展望未來，設(shè)想將該方法擴(kuò)展至圖像和視頻生成的其他領(lǐng)域，探索如何識別、控制和操控多層次視覺語義，以實現(xiàn)更復(fù)雜和富有想象力的生成能力。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/4eWAs4_ST58cAoJxnWHEgA??