許多內(nèi)容制作項(xiàng)目需要將簡(jiǎn)單的草圖轉(zhuǎn)換為逼真的圖片，這就涉及圖像到圖像的轉(zhuǎn)換（image-to-image translation），它使用深度生成模型學(xué)習(xí)給定輸入的自然圖片的條件分布。

圖像到圖像轉(zhuǎn)換的基本概念是利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)捕捉自然圖片流形（manifold）。圖像轉(zhuǎn)換類似于遍歷流形并定位可行的輸入語(yǔ)義點(diǎn)。系統(tǒng)使用許多圖片對(duì)合成網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，以從其潛在空間的任何采樣中提供可靠的輸出。通過(guò)預(yù)訓(xùn)練的合成網(wǎng)絡(luò)，下游訓(xùn)練將用戶輸入調(diào)整為模型的潛在表征。

多年來(lái)，我們已經(jīng)看到許多特定于任務(wù)的方法達(dá)到了 SOTA 水平，但目前的解決方案還是難以創(chuàng)建用于實(shí)際使用的高保真圖片。

在最近的一篇論文中，香港科技大學(xué)和微軟亞洲研究院的研究者認(rèn)為，對(duì)于圖像到圖像的轉(zhuǎn)換，預(yù)訓(xùn)練才是 All you need。以往方法需要專門的架構(gòu)設(shè)計(jì)，并從頭開(kāi)始訓(xùn)練單個(gè)轉(zhuǎn)換模型，因而難以高質(zhì)量地生成復(fù)雜場(chǎng)景，尤其是在配對(duì)訓(xùn)練數(shù)據(jù)不充足的情況下。

因此，研究者將每個(gè)圖像到圖像的轉(zhuǎn)換問(wèn)題視為下游任務(wù)，并引入了一個(gè)簡(jiǎn)單通用框架，該框架采用預(yù)訓(xùn)練的擴(kuò)散模型來(lái)適應(yīng)各種圖像到圖像的轉(zhuǎn)換。他們將提出的預(yù)訓(xùn)練圖像到圖像轉(zhuǎn)換模型稱為 PITI（pretraining-based image-to-image translation）。此外，研究者還提出用對(duì)抗訓(xùn)練來(lái)增強(qiáng)擴(kuò)散模型訓(xùn)練中的紋理合成，并與歸一化指導(dǎo)采樣結(jié)合以提升生成質(zhì)量。

最后，研究者在 ADE20K、COCO-Stuff 和 DIODE 等具有挑戰(zhàn)性的基準(zhǔn)上對(duì)各種任務(wù)進(jìn)行了廣泛的實(shí)證比較，表明 PITI 合成的圖像顯示出了前所未有的真實(shí)感和忠實(shí)度。

• 論文鏈接：https://arxiv.org/pdf/2205.12952.pdf
• 項(xiàng)目主頁(yè)：https://tengfei-wang.github.io/PITI/index.html

GAN 已死，擴(kuò)散模型永存

作者沒(méi)有使用在特定領(lǐng)域表現(xiàn)最佳的 GAN，而是使用了擴(kuò)散模型，合成了廣泛多樣的圖片。其次，它應(yīng)該從兩種類型的潛在代碼中生成圖片：一種描述視覺(jué)語(yǔ)義，另一種針對(duì)圖像波動(dòng)進(jìn)行調(diào)整。語(yǔ)義、低維潛在對(duì)于下游任務(wù)至關(guān)重要。否則，就不可能將模態(tài)輸入轉(zhuǎn)換為復(fù)雜的潛在空間。鑒于此，他們使用 GLIDE 作為預(yù)訓(xùn)練的生成先驗(yàn)，這是一種可以生成不同圖片的數(shù)據(jù)驅(qū)動(dòng)模型。由于 GLIDE 使用了潛在的文本，它允許語(yǔ)義潛在空間。

擴(kuò)散和基于分?jǐn)?shù)的方法表現(xiàn)出跨基準(zhǔn)的生成質(zhì)量。在類條件 ImageNet 上，這些模型在視覺(jué)質(zhì)量和采樣多樣性方面與基于 GAN 的方法相媲美。最近，用大規(guī)模文本圖像配對(duì)訓(xùn)練的擴(kuò)散模型顯示出驚人的能力。訓(xùn)練有素的擴(kuò)散模型可以為合成提供通用的生成先驗(yàn)。

框架

作者可以使用前置（pretext）任務(wù)對(duì)大量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并開(kāi)發(fā)一個(gè)非常有意義的潛在空間來(lái)預(yù)測(cè)圖片統(tǒng)計(jì)。

對(duì)于下游任務(wù)，他們有條件地微調(diào)語(yǔ)義空間以映射特定于任務(wù)的環(huán)境。該機(jī)器根據(jù)預(yù)先訓(xùn)練的信息創(chuàng)建可信的視覺(jué)效果。

作者建議使用語(yǔ)義輸入對(duì)擴(kuò)散模型進(jìn)行預(yù)訓(xùn)練。他們使用文本條件、圖像訓(xùn)練的 GLIDE 模型。Transformer 網(wǎng)絡(luò)對(duì)文本輸入進(jìn)行編碼，并為擴(kuò)散模型輸出 token。按照計(jì)劃，文本嵌入空間是有意義的。

上圖是作者的作品。與從頭開(kāi)始的技術(shù)相比，預(yù)訓(xùn)練模型提高了圖片質(zhì)量和多樣性。由于 COCO 數(shù)據(jù)集具有眾多類別和組合，因此基本方法無(wú)法通過(guò)引人注目的架構(gòu)提供美觀的結(jié)果。他們的方法可以為困難的場(chǎng)景創(chuàng)建具有精確語(yǔ)義的豐富細(xì)節(jié)。圖片展示了他們方法的多功能性。

實(shí)驗(yàn)及影響

表 1 顯示，該研究所提方法性能始終優(yōu)于其他模型。與較為領(lǐng)先的 OASIS 相比，在掩碼到圖像合成方面，PITI 在 FID 方面獲得了顯著的改進(jìn)。此外，該方法在草圖到圖像和幾何到圖像合成任務(wù)中也顯示出良好的性能。

圖 3 展示了該研究在不同任務(wù)上的可視化結(jié)果。實(shí)驗(yàn)可得，與從頭開(kāi)始訓(xùn)練的方法相比，預(yù)訓(xùn)練模型顯著提高了生成圖像的質(zhì)量和多樣性。該研究所用方法可以產(chǎn)生生動(dòng)的細(xì)節(jié)和正確的語(yǔ)義，即使是具有挑戰(zhàn)性的生成任務(wù)。

該研究還在 Amazon Mechanical Turk 上的 COCO-Stuff 上進(jìn)行了一項(xiàng)關(guān)于掩碼到圖像合成的用戶研究，獲得了 20 名參與者的 3000 票。參與者一次會(huì)得到兩張圖片，并被要求選擇一張更真實(shí)的進(jìn)行投票。如表 2 所示，所建議的方法在很大程度上優(yōu)于從零開(kāi)始的模型和其他基線。

條件圖像合成可創(chuàng)建符合條件的高質(zhì)量圖片。計(jì)算機(jī)視覺(jué)和圖形學(xué)領(lǐng)域使用它來(lái)創(chuàng)建和操作信息。大規(guī)模預(yù)訓(xùn)練改進(jìn)了圖片分類、對(duì)象識(shí)別和語(yǔ)義分割。未知的是大規(guī)模預(yù)訓(xùn)練是否有利于一般生成任務(wù)。

能源使用和碳排放是圖片預(yù)訓(xùn)練的關(guān)鍵問(wèn)題。預(yù)訓(xùn)練是耗能的，但只需要一次。條件微調(diào)讓下游任務(wù)可以使用相同的預(yù)訓(xùn)練模型。預(yù)訓(xùn)練允許用更少的訓(xùn)練數(shù)據(jù)訓(xùn)練生成模型，當(dāng)數(shù)據(jù)由于隱私問(wèn)題或昂貴的注釋成本而受到限制時(shí)，可以提升圖像合成效果。