近年來(lái)，圖像生成技術(shù)取得了很多關(guān)鍵性突破。特別是自從 DALLE2、Stable Diffusion 等大模型發(fā)布以來(lái)，文本生成圖像技術(shù)逐漸成熟，高質(zhì)量的圖像生成有了廣闊的實(shí)用場(chǎng)景。然而，對(duì)于已有圖片的細(xì)化編輯依舊是一個(gè)難題。

一方面，由于文本描述的局限性，現(xiàn)有的高質(zhì)量文生圖模型，只能利用文本對(duì)圖片進(jìn)行描述性的編輯，而對(duì)于某些具體效果，文本是難以描述的；另一方面，在實(shí)際應(yīng)用場(chǎng)景中，圖像細(xì)化編輯任務(wù)往往只有少量的參考圖片，這讓很多需要大量數(shù)據(jù)進(jìn)行訓(xùn)練的方案，在少量數(shù)據(jù)，特別是只有一張參考圖像的情況下，難以發(fā)揮作用。

最近，來(lái)自網(wǎng)易互娛 AI Lab 的研究人員提出了一種基于單張圖像引導(dǎo)的圖像到圖像編輯方案，給定單張參考圖像，即可把參考圖中的物體或風(fēng)格遷移到源圖像，同時(shí)不改變?cè)磮D像的整體結(jié)構(gòu)。研究論文已被 ICCV 2023 接收，相關(guān)代碼已開(kāi)源。

• 論文地址：https://arxiv.org/abs/2307.14352
• 代碼地址：https://github.com/CrystalNeuro/visual-concept-translator

讓我們先來(lái)看一組圖，感受一下它的效果。

論文效果圖：每組圖片左上角是源圖，左下角是參考圖，右側(cè)是生成結(jié)果圖

主體框架

論文作者提出了一種基于反演-融合（Inversion-Fusion）的圖像編輯框架 ——VCT（visual concept translator，視覺(jué)概念轉(zhuǎn)換器）。如下圖所示，VCT 的整體框架包括兩個(gè)過(guò)程：內(nèi)容-概念反演過(guò)程（Content-concept Inversion）和內(nèi)容-概念融合過(guò)程（Content-concept Fusion）。內(nèi)容 - 概念反演過(guò)程通過(guò)兩種不同的反演算法，分別學(xué)習(xí)和表示原圖像的結(jié)構(gòu)信息和參考圖像的語(yǔ)義信息的隱向量；內(nèi)容-概念融合過(guò)程則將結(jié)構(gòu)信息和語(yǔ)義信息的隱向量進(jìn)行融合，生成最后的結(jié)果。

論文主體框架

值得一提的是，反演方法是近年來(lái)，特別是在生成對(duì)抗網(wǎng)絡(luò)（GAN）領(lǐng)域，廣泛應(yīng)用且在眾多圖像生成任務(wù)上取得突出效果的一項(xiàng)技術(shù)【1】。GAN Inversion 技術(shù)將一張圖片映射到與訓(xùn)練的 GAN 生成器的隱空間中，通過(guò)對(duì)隱空間的控制來(lái)實(shí)現(xiàn)編輯的目的。反演方案可以充分利用預(yù)訓(xùn)練生成模型的生成能力。本研究實(shí)際上是將 GAN Inversion 技術(shù)遷移到了以擴(kuò)散模型為先驗(yàn)的，基于圖像引導(dǎo)的圖像編輯任務(wù)上。

反演技術(shù)

方法介紹

基于反演的思路，VCT 設(shè)計(jì)了一個(gè)雙分支的擴(kuò)散過(guò)程，其包含一個(gè)內(nèi)容重建的分支 B* 和一個(gè)用于編輯的主分支 B。它們從同一個(gè)從 DDIM 反演（DDIM Inversion^【2】，一種利用擴(kuò)散模型從圖像計(jì)算噪聲的算法）獲得的噪聲 xT 出發(fā)，分別用于內(nèi)容重建和內(nèi)容編輯。論文采用的預(yù)訓(xùn)練模型為隱向量擴(kuò)散模型（Latent Diffusion Models，簡(jiǎn)稱(chēng) LDM），擴(kuò)散過(guò)程發(fā)生在隱向量空間 z 空間中，雙分支過(guò)程可表示為：

雙分支擴(kuò)散過(guò)程

內(nèi)容重建分支 B* 學(xué)習(xí) T 個(gè)內(nèi)容特征向量 ，用于還原原圖的結(jié)構(gòu)信息，并通過(guò)軟注意力控制（soft attention control）的方案，將結(jié)構(gòu)信息傳遞給編輯主分支 B。軟注意力控制方案借鑒了谷歌的 prompt2prompt【3】工作，公式為：

即當(dāng)擴(kuò)散模型運(yùn)行步數(shù)在一定區(qū)間時(shí)，將編輯主分支的注意力特征圖替換內(nèi)容重建分支的特征圖，實(shí)現(xiàn)對(duì)生成圖片的結(jié)構(gòu)控制。編輯主分支 B 則融合從原圖像學(xué)習(xí)的內(nèi)容特征向量  和從參考圖像學(xué)習(xí)的概念特征向量 ，生成編輯的圖片。

噪聲空間 ( 空間) 融合

在擴(kuò)散模型的每一步，特征向量的融合都發(fā)生在噪聲空間空間，是特征向量輸入擴(kuò)散模型之后預(yù)測(cè)的噪聲的加權(quán)。內(nèi)容重建分支的特征混合發(fā)生在內(nèi)容特征向量和空文本向量上，與免分類(lèi)器（Classifier-free）擴(kuò)散引導(dǎo)【4】的形式一致：

編輯主分支的混合是內(nèi)容特征向量  和概念特征向量  的混合，為

至此，研究的關(guān)鍵在于如何從單張?jiān)磮D片獲取結(jié)構(gòu)信息的特征向量，和從單張參考圖片獲取概念信息的特征向量 。文章分別通過(guò)兩個(gè)不同的反演方案實(shí)現(xiàn)這一目的。

為了復(fù)原源圖片，文章參考 NULL-text【5】?jī)?yōu)化的方案，學(xué)習(xí) T 個(gè)階段的特征向量去匹配擬合源圖像。但與 NULL-text 優(yōu)化空文本向量去擬合 DDIM 路徑不同的是，本文通過(guò)優(yōu)化源圖片特征向量，去直接擬合估計(jì)的干凈特征向量，擬合公式為：

與學(xué)習(xí)結(jié)構(gòu)信息不同的是，參考圖像中的概念信息需要用單一高度概括的特征向量來(lái)表示，擴(kuò)散模型的 T 個(gè)階段共用一個(gè)概念特征向量  。文章優(yōu)化了現(xiàn)有的反演方案 Textual Inversion【6】和 DreamArtist【7】。其采用一個(gè)多概念特征向量來(lái)表示參考圖像的內(nèi)容，損失函數(shù)包含一項(xiàng)擴(kuò)散模型的噪聲預(yù)估項(xiàng)和在隱向量空間的預(yù)估重建損失項(xiàng)：

實(shí)驗(yàn)結(jié)果

文章在主體替換和風(fēng)格化任務(wù)上進(jìn)行了實(shí)驗(yàn)，可以在較好地保持源圖片的結(jié)構(gòu)信息的情況下，將內(nèi)容變成參考圖片的主體或風(fēng)格。

論文實(shí)驗(yàn)效果

文章提出的 VCT 框架相較于以往的方案有以下優(yōu)勢(shì)：

（1）應(yīng)用泛化性：與以往的基于圖像引導(dǎo)的圖像編輯任務(wù)相比，VCT 不需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，且生成質(zhì)量和泛化性更好。其基于反演的思路，以在開(kāi)放世界數(shù)據(jù)預(yù)訓(xùn)練好的高質(zhì)量文生圖模型為基礎(chǔ)，實(shí)際應(yīng)用時(shí)，只需要一張輸入圖和一張參考圖就可以完成較好的圖片編輯效果。

（2）視覺(jué)準(zhǔn)確性：相較于近期文字編輯圖像的方案，VCT 利用圖片進(jìn)行參考引導(dǎo)。圖片參考相比于文字描述，可以更加準(zhǔn)確地實(shí)現(xiàn)對(duì)圖片的編輯。下圖展示了 VCT 與其它方案的對(duì)比結(jié)果：

主體替換任務(wù)對(duì)比效果

風(fēng)格遷移任務(wù)對(duì)比效果

（3）不需要額外信息：相較于近期的一些需要添加額外控制信息（如：遮罩圖或深度圖）等方案來(lái)進(jìn)行引導(dǎo)控制的方案，VCT 直接從源圖像和參考圖像學(xué)習(xí)結(jié)構(gòu)信息和語(yǔ)義信息來(lái)進(jìn)行融合生成，下圖是一些對(duì)比結(jié)果。其中，Paint-by-example 通過(guò)提供一個(gè)源圖像的遮罩圖，來(lái)將對(duì)應(yīng)的物體換成參考圖的物體；Controlnet 通過(guò)線(xiàn)稿圖、深度圖等控制生成的結(jié)果；而 VCT 則直接從源圖像和參考圖像，學(xué)習(xí)結(jié)構(gòu)信息和內(nèi)容信息融合成目標(biāo)圖像，不需要額外的限制。

基于圖像引導(dǎo)的圖像編輯方案的對(duì)比效果

網(wǎng)易互娛 AI Lab

網(wǎng)易互娛 AI Lab 成立于 2017 年，隸屬于網(wǎng)易互動(dòng)娛樂(lè)事業(yè)群，是游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室。實(shí)驗(yàn)室致力于計(jì)算機(jī)視覺(jué)、語(yǔ)音和自然語(yǔ)言處理，以及強(qiáng)化學(xué)習(xí)等技術(shù)在游戲場(chǎng)景下的的研究和應(yīng)用，旨在通過(guò) AI 技術(shù)助力互娛旗下熱門(mén)游戲及產(chǎn)品的技術(shù)升級(jí)，目前技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門(mén)游戲，如《夢(mèng)幻西游》、《哈利波特：魔法覺(jué)醒》、《陰陽(yáng)師》、《大話(huà)西游》等等。