論文鏈接：https://arxiv.org/pdf/2502.18461 
項目鏈接：https://k-lora.github.io/K-LoRA.io/

亮點(diǎn)直擊

• 提出了K-LoRA，一種簡單而有效的優(yōu)化技術(shù)，能夠無縫融合內(nèi)容和風(fēng)格LoRA，從而在保留細(xì)節(jié)的同時生成任何主題的任意風(fēng)格。
• 本文的方法用戶友好，無需重新訓(xùn)練，可直接應(yīng)用于現(xiàn)有的LoRA權(quán)重。它在多樣化的圖像風(fēng)格化任務(wù)中表現(xiàn)出色，超越了現(xiàn)有方法。

總結(jié)速覽

解決的問題

• 風(fēng)格與內(nèi)容的同時保留：現(xiàn)有方法在融合不同LoRA（Low-Rank Adaptation）時，難以同時有效保留原始圖像的主體內(nèi)容和風(fēng)格細(xì)節(jié)。
• 額外訓(xùn)練需求：現(xiàn)有方法通常需要手動調(diào)整超參數(shù)或進(jìn)行額外的訓(xùn)練，增加了復(fù)雜性和計算成本。

提出的方案

• K-LoRA方法：提出了一種無需額外訓(xùn)練的LoRA融合方法，稱為K-LoRA。該方法在每個注意力層中，通過比較待融合的每個LoRA的Top-K元素，選擇最優(yōu)的LoRA進(jìn)行融合。
• Top-K選擇機(jī)制：在注意力層的前向傳播過程中，引入Top-K選擇過程，以確定每個位置最合適的注意力組件。
• 縮放因子應(yīng)用：在融合過程中應(yīng)用縮放因子，以強(qiáng)調(diào)風(fēng)格和內(nèi)容在擴(kuò)散過程中的不同作用。

應(yīng)用的技術(shù)

• LoRA（Low-Rank Adaptation）：利用LoRA在圖像生成任務(wù)中的高效微調(diào)能力，獨(dú)立訓(xùn)練風(fēng)格和內(nèi)容特征。
• 擴(kuò)散模型：結(jié)合擴(kuò)散模型的時間步長，將LoRA的注意力層按時間步長融入模型，以評估其對性能的影響。
• Top-K選擇：在每個注意力層中，通過Top-K選擇機(jī)制，選擇最具代表性的特征進(jìn)行融合。

達(dá)到的效果

• 有效融合風(fēng)格與內(nèi)容：K-LoRA能夠有效融合原始LoRA學(xué)習(xí)到的主體和風(fēng)格信息，生成圖像中同時保留風(fēng)格細(xì)節(jié)和主體特征。
• 無需額外訓(xùn)練：該方法無需額外訓(xùn)練，簡化了操作流程，提高了用戶友好性。
• 性能提升：在定性和定量結(jié)果上，K-LoRA均優(yōu)于現(xiàn)有的基于訓(xùn)練的方法，顯著提升了融合LoRA的性能。

方法

K-LoRA

在[26]中指出，在使用LoRA進(jìn)行微調(diào)時，使用較少的關(guān)鍵元素可以實現(xiàn)與原始方法相同的生成結(jié)果。然而，作者并未在圖像生成領(lǐng)域提供相關(guān)實驗來解釋這一點(diǎn)。本文首先嘗試?yán)眠@種方法，通過類似于Magmax的方法，將值較小的元素賦值為零。通過這種方式修改矩陣元素所得到的結(jié)果與[26, 30]的結(jié)果相似，因為模型未能正確解釋其先前學(xué)習(xí)到的概念，導(dǎo)致圖像生成質(zhì)量欠佳。

鑒于直接修改注意力元素的復(fù)雜性和局限性，一個問題隨之而來：能否在去噪過程中利用LoRA矩陣的稀疏特性？目標(biāo)是找到一種替代方法，在不修改原始LoRA權(quán)重的情況下，為每一步或每一層找到一個良好的權(quán)重選擇方法和精確的LoRA定位?；诙郘oRA組合，隨機(jī)將內(nèi)容LoRA注意力層應(yīng)用于擴(kuò)散步驟，通過使用x%的注意力層來影響對象，以觀察生成結(jié)果。如下圖3(a)所示，發(fā)現(xiàn)當(dāng)x > 50時，結(jié)果與原始模型幾乎無法區(qū)分。然而，當(dāng)x < 25時，模型維持原始個性化概念的能力顯著下降。

受近期研究[20, 29, 35]的啟發(fā)，本文進(jìn)一步擴(kuò)展了下圖2中的實驗，發(fā)現(xiàn)將風(fēng)格LoRA應(yīng)用于較早的時間步對原始對象的重建有顯著影響，而在較晚的時間步應(yīng)用則可以保留風(fēng)格信息而不影響原始對象。對于內(nèi)容LoRA，在較早的時間步應(yīng)用比在較晚的時間步應(yīng)用效果顯著更好。

上述分析促使通過自適應(yīng)選擇每個注意力層的LoRA模塊來實現(xiàn)生成對象和風(fēng)格的融合。根據(jù)發(fā)現(xiàn)(i)，選擇策略應(yīng)保留整體對象和風(fēng)格信息。此外，根據(jù)發(fā)現(xiàn)(ii)，生成過程應(yīng)通過適當(dāng)安排對象和風(fēng)格組件來實現(xiàn)。即在早期擴(kuò)散步驟中，模型應(yīng)更專注于對象重建，同時引入風(fēng)格紋理；而在后期步驟中，最好通過細(xì)微的對象細(xì)節(jié)來優(yōu)化風(fēng)格。本文提出了K-LoRA，如下圖4所示，它可以自適應(yīng)地選擇適當(dāng)?shù)腖oRA層來融合學(xué)習(xí)到的主體和風(fēng)格。

首先，對LoRA層中的每個元素取絕對值，以確定某個值是否在生成過程中起到重要作用。

其中，Top-K 返回最大K個值的索引。對于K的選擇，注意到 LoRA 訓(xùn)練過程中的秩數(shù)在一定程度上反映了矩陣中包含的信息量。因此，選擇的K與每個 LoRA 的秩保持一致：

為了更有效地利用發(fā)現(xiàn)(ii)，并讓對象和風(fēng)格在不同階段發(fā)揮各自的作用，同時確保從以對象為中心的表示平滑過渡到以風(fēng)格為中心的表示，本文引入了一個縮放因子s 。該因子s直接應(yīng)用于 Top-K 選擇過程，在生成的早期階段增強(qiáng)對象內(nèi)容，并在后期逐步強(qiáng)調(diào)風(fēng)格。

為了更好地解釋權(quán)重選擇過程，在下圖6中展示了選擇比例，其中對象和風(fēng)格無縫地相互滲透和融合。第一部分主要關(guān)注對象，同時融入少量風(fēng)格，而后半部分則主要強(qiáng)調(diào)風(fēng)格，同時保留對象的微妙存在，這進(jìn)一步證實了我們的關(guān)鍵發(fā)現(xiàn)。

實驗

實驗設(shè)置

數(shù)據(jù)集：遵循ZipLoRA的慣例，對于通過本地訓(xùn)練獲得的LoRA，從DreamBooth數(shù)據(jù)集中選擇了一組多樣化的內(nèi)容圖像，每組包含4-5張給定主題的圖像。對于風(fēng)格，我們選擇了StyleDrop作者提供的先前數(shù)據(jù)集，并包括一些經(jīng)典杰作和現(xiàn)代創(chuàng)新風(fēng)格。對于每種風(fēng)格，僅使用單張圖像進(jìn)行訓(xùn)練。

結(jié)果

定量比較：隨機(jī)選擇了18組對象和風(fēng)格的組合，每組包含10張圖像進(jìn)行定量比較。使用CLIP來衡量風(fēng)格相似性，并通過CLIP分?jǐn)?shù)和DINO分?jǐn)?shù)計算主體相似性。將本文的方法與社區(qū)中流行的方法以及最先進(jìn)的方法進(jìn)行比較，包括直接算術(shù)融合、聯(lián)合訓(xùn)練、ZipLoRA和B-LoRA。結(jié)果如下表1所示。可以觀察到，與之前的方法相比，本文的方法顯著提高了主體相似性指標(biāo)，同時也實現(xiàn)了令人滿意的風(fēng)格相似性。

定性比較：為了確保公平評估，本階段的所有實驗均使用SD進(jìn)行，結(jié)果如下圖7所示。直接設(shè)置融合比例為1:2而不進(jìn)行大量參數(shù)調(diào)整或種子選擇時，融合LoRA的方法難以保留對象的原始形狀、顏色和風(fēng)格特征。B-LoRA主要捕捉原始圖像中對象的顏色和外觀，但往往導(dǎo)致顏色過擬合，使得生成圖像中難以區(qū)分原始對象。在ZipLoRA和聯(lián)合訓(xùn)練方法中，雖然融入了某些風(fēng)格紋理，但模型傾向于關(guān)注風(fēng)格的背景元素而非風(fēng)格本身，導(dǎo)致成功率較低。相比之下，本文的方法通過生成更高質(zhì)量的輸出圖像并在廣泛的種子變化中表現(xiàn)穩(wěn)定，解決了這些局限性。此外，本文的方法無需額外訓(xùn)練或參數(shù)微調(diào)。

隨機(jī)選擇了22組結(jié)果供用戶進(jìn)行比較評估。每組包括ZipLoRA、B-LoRA和本文的方法的輸出，以及訓(xùn)練對象和風(fēng)格的參考圖像。用戶被要求確定哪種方法最能同時保留風(fēng)格和對象。結(jié)果顯示在下表2中，表明本文的方法最受青睞。此外，我們還咨詢了GPT-4o進(jìn)行類似評估。本文的方法在GPT-4o評估中顯示出顯著優(yōu)勢，進(jìn)一步反映了我們方法的優(yōu)越性。

消融分析

Top-K選擇：本文進(jìn)行了兩項實驗來驗證Top-K選擇方法的有效性：固定選擇和隨機(jī)選擇。發(fā)現(xiàn)(ii)提出了一種直接的方法：如果縮放因子大于1，則選擇內(nèi)容LoRA；否則，選擇風(fēng)格LoRA。這種方法稱之為“固定選擇”，作為測試Top-K選擇方法消融的有用基線。它也可以被視為多LoRA組合的擴(kuò)展和改進(jìn)，在某些場景中顯示出良好的效果。然而，在特定的風(fēng)格LoRA條件下，這種方法可能會導(dǎo)致對象模糊或內(nèi)容外觀的改變，如圖9所示。

為了確保模塊在指定的前向?qū)影才胖斜憩F(xiàn)一致，而不是依賴于任意配置，進(jìn)行了一項稱為“隨機(jī)選擇”的對照實驗，使用隨機(jī)種子。在此設(shè)置中，模型使用一個隨機(jī)數(shù)，有1/3的概率選擇內(nèi)容注意力，2/3的概率選擇風(fēng)格注意力。如圖9所示，在這些隨機(jī)選擇條件下，生成的圖像通常僅保留單一的對象特征或風(fēng)格特征，或者完全無法保留兩者。這一結(jié)果進(jìn)一步驗證了我們的發(fā)現(xiàn)(ii)，突出了對象和風(fēng)格組件在早期和后期擴(kuò)散時間步中的不同作用。

此外，評估了不同K值對生成圖像的影響，如下圖8所示。在Top-K方法中，系統(tǒng)地改變了K的值。當(dāng)K較小時，風(fēng)格和對象的特征都不夠突出。隨著K的增加，這一問題逐漸改善。然而，如果K過大，風(fēng)格可能無法保留，對象的形狀也可能發(fā)生顯著扭曲。

縮放因子：為了評估縮放因子的有效性，將其移除，僅關(guān)注原始的Top-K方法。在第一個實驗中，如下圖9所示，分析表明，雖然在某些條件下僅使用Top-K可以產(chǎn)生令人滿意的結(jié)果，但擴(kuò)大實驗范圍會發(fā)現(xiàn)對象失真和風(fēng)格丟失的情況。為了進(jìn)一步評估縮放因子中的重要性，我們測試了兩個來源不同的LoRA模型的性能，其特征是元素和的顯著差異。如圖9底部所示，Top-K選擇未能準(zhǔn)確捕捉風(fēng)格，而固定選擇中對象和風(fēng)格的融合明顯弱于本文的方法。

總之，移除這兩個模塊會導(dǎo)致生成性能下降，突出了它們對模型整體有效性的關(guān)鍵貢獻(xiàn)。

結(jié)論

K-LoRA，它能夠無縫融合獨(dú)立訓(xùn)練的風(fēng)格和主體LoRA模型。K-LoRA在保留原始風(fēng)格復(fù)雜細(xì)節(jié)的同時，實現(xiàn)了精確的對象微調(diào)。本文的方法通過Top-K選擇和縮放因子，有效利用了對象和風(fēng)格LoRA在每一步擴(kuò)散中的貢獻(xiàn)，最大化地利用了原始權(quán)重，并實現(xiàn)了無需重新訓(xùn)練或手動超參數(shù)調(diào)整的精確風(fēng)格融合。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/UTkyGZFgRz6guDt9K8Cqcw??