[[382526]]

最近，CV 研究者對 transformer 產生了極大的興趣并取得了不少突破。這表明，transformer 有可能成為計算機視覺任務（如分類、檢測和分割）的強大通用模型。

我們都很好奇：在計算機視覺領域，transformer 還能走多遠？對于更加困難的視覺任務，比如生成對抗網絡 (GAN)，transformer 表現又如何？

在這種好奇心的驅使下，德州大學奧斯汀分校的 Yifan Jiang、Zhangyang Wang，IBM Research 的 Shiyu Chang 等研究者進行了第一次試驗性研究，構建了一個只使用純 transformer 架構、完全沒有卷積的 GAN，并將其命名為 TransGAN。與其它基于 transformer 的視覺模型相比，僅使用 transformer 構建 GAN 似乎更具挑戰性，這是因為與分類等任務相比，真實圖像生成的門檻更高，而且 GAN 訓練本身具有較高的不穩定性。

• 論文鏈接：https://arxiv.org/pdf/2102.07074.pdf
• 代碼鏈接：https://github.com/VITA-Group/TransGAN

從結構上來看，TransGAN 包括兩個部分：一個是內存友好的基于 transformer 的生成器，該生成器可以逐步提高特征分辨率，同時降低嵌入維數；另一個是基于 transformer 的 patch 級判別器。

研究者還發現，TransGAN 顯著受益于數據增強（超過標準的 GAN）、生成器的多任務協同訓練策略和強調自然圖像鄰域平滑的局部初始化自注意力。這些發現表明，TransGAN 可以有效地擴展至更大的模型和具有更高分辨率的圖像數據集。

實驗結果表明，與當前基于卷積骨干的 SOTA GAN 相比，表現最佳的 TransGAN 實現了極具競爭力的性能。具體來說，TransGAN 在 STL-10 上的 IS 評分為 10.10，FID 為 25.32，實現了新的 SOTA。

該研究表明，對于卷積骨干以及許多專用模塊的依賴可能不是 GAN 所必需的，純 transformer 有足夠的能力生成圖像。

在該論文的相關討論中，有讀者調侃道，「attention is really becoming『all you need』.」

不過，也有部分研究者表達了自己的擔憂：在 transformer 席卷整個社區的大背景下，勢單力薄的小實驗室要怎么活下去？

如果 transformer 真的成為社區「剛需」，如何提升這類架構的計算效率將成為一個棘手的研究問題。

基于純 Transformer 的 GAN

作為基礎塊的 Transformer 編碼器

研究者選擇將 Transformer 編碼器（Vaswani 等人，2017）作為基礎塊，并盡量進行最小程度的改變。編碼器由兩個部件組成，第一個部件由一個多頭自注意力模塊構造而成，第二個部件是具有 GELU 非線性的前饋 MLP（multiple-layer perceptron，多層感知器）。此外，研究者在兩個部件之前均應用了層歸一化（Ba 等人，2016）。兩個部件也都使用了殘差連接。

內存友好的生成器

NLP 中的 Transformer 將每個詞作為輸入（Devlin 等人，2018）。但是，如果以類似的方法通過堆疊 Transformer 編碼器來逐像素地生成圖像，則低分辨率圖像（如 32×32）也可能導致長序列（1024）以及更高昂的自注意力開銷。

所以，為了避免過高的開銷，研究者受到了基于 CNN 的 GAN 中常見設計理念的啟發，在多個階段迭代地提升分辨率（Denton 等人，2015；Karras 等人，2017）。他們的策略是逐步增加輸入序列，并降低嵌入維數。

如下圖 1 左所示，研究者提出了包含多個階段的內存友好、基于 Transformer 的生成器：

每個階段堆疊了數個編碼器塊（默認為 5、2 和 2）。通過分段式設計，研究者逐步增加特征圖分辨率，直到其達到目標分辨率 H_T×W_T。具體來說，該生成器以隨機噪聲作為其輸入，并通過一個 MLP 將隨機噪聲傳遞給長度為 H×W×C 的向量。該向量又變形為分辨率為 H×W 的特征圖（默認 H=W=8），每個點都是 C 維嵌入。然后，該特征圖被視為長度為 64 的 C 維 token 序列，并與可學得的位置編碼相結合。

與 BERT（Devlin 等人，2018）類似，該研究提出的 Transformer 編碼器以嵌入 token 作為輸入，并遞歸地計算每個 token 之間的匹配。為了合成分辨率更高的圖像，研究者在每個階段之后插入了一個由 reshaping 和 pixelshuffle 模塊組成的上采樣模塊。

具體操作上，上采樣模塊首先將 1D 序列的 token 嵌入變形為 2D 特征圖

，然后采用 pixelshuffle 模塊對 2D 特征圖的分辨率進行上采樣處理，并下采樣嵌入維數，最終得到輸出

。然后，2D 特征圖 X’_0 再次變形為嵌入 token 的 1D 序列，其中 token 數為 4HW，嵌入維數為 C/4。所以，在每個階段，分辨率（H, W）提升到兩倍，同時嵌入維數 C 減少至輸入的四分之一。這一權衡（trade-off）策略緩和了內存和計算量需求的激增。

研究者在多個階段重復上述流程，直到分辨率達到（H_T , W_T ）。然后，他們將嵌入維數投影到 3，并得到 RGB 圖像。

用于判別器的 tokenized 輸入

與那些需要準確合成每個像素的生成器不同，該研究提出的判別器只需要分辨真假圖像即可。這使得研究者可以在語義上將輸入圖像 tokenize 為更粗糙的 patch level（Dosovitskiy 等人，2020）。

如上圖 1 右所示，判別器以圖像的 patch 作為輸入。研究者將輸入圖像

分解為 8 × 8 個 patch，其中每個 patch 可被視為一個「詞」。然后，8 × 8 個 patch 通過一個線性 flatten 層轉化為 token 嵌入的 1D 序列，其中 token 數 N = 8 × 8 = 64，嵌入維數為 C。再之后，研究者在 1D 序列的開頭添加了可學得位置編碼和一個 [cls] token。在通過 Transformer 編碼器后，分類 head 只使用 [cls] token 來輸出真假預測。

實驗

CIFAR-10 上的結果

研究者在 CIFAR-10 數據集上對比了 TransGAN 和近來基于卷積的 GAN 的研究，結果如下表 5 所示：

如上表 5 所示，TransGAN 優于 AutoGAN (Gong 等人，2019) ，在 IS 評分方面也優于許多競爭者，如 SN-GAN (Miyato 等人， 2018)、improving MMDGAN (Wang 等人，2018a)、MGAN (Hoang 等人，2018)。TransGAN 僅次于 Progressive GAN 和 StyleGAN v2。

對比 FID 結果，研究發現，TransGAN 甚至優于 Progressive GAN，而略低于 StyleGANv2 (Karras 等人，2020b)。在 CIFAR-10 上生成的可視化示例如下圖 4 所示：

STL-10 上的結果

研究者將 TransGAN 應用于另一個流行的 48×48 分辨率的基準 STL-10。為了適應目標分辨率，該研究將第一階段的輸入特征圖從（8×8）=64 增加到（12×12）=144，然后將提出的 TransGAN-XL 與自動搜索的 ConvNets 和手工制作的 ConvNets 進行了比較，結果下表 6 所示：

與 CIFAR-10 上的結果不同，該研究發現，TransGAN 優于所有當前的模型，并在 IS 和 FID 得分方面達到新的 SOTA 性能。

高分辨率生成

由于 TransGAN 在標準基準 CIFAR-10 和 STL-10 上取得不錯的性能，研究者將 TransGAN 用于更具挑戰性的數據集 CelebA 64 × 64，結果如下表 10 所示：

TransGAN-XL 的 FID 評分為 12.23，這表明 TransGAN-XL 可適用于高分辨率任務。可視化結果如圖 4 所示。

局限性

雖然 TransGAN 已經取得了不錯的成績，但與最好的手工設計的 GAN 相比，它還有很大的改進空間。在論文的最后，作者指出了以下幾個具體的改進方向：

• 對 G 和 D 進行更加復雜的 tokenize 操作，如利用一些語義分組 (Wu et al., 2020)。
• 使用代理任務（pretext task）預訓練 Transformer，這樣可能會改進該研究中現有的 MT-CT。
• 更加強大的注意力形式，如 (Zhu 等人，2020)。
• 更有效的自注意力形式 (Wang 等人，2020；Choromanski 等人，2020)，這不僅有助于提升模型效率，還能節省內存開銷，從而有助于生成分辨率更高的圖像。

作者簡介

本文一作 Yifan Jiang 是德州大學奧斯汀分校電子與計算機工程系的一年級博士生（此前在德克薩斯 A&M 大學學習過一年），本科畢業于華中科技大學，研究興趣集中在計算機視覺、深度學習等方向。目前，Yifan Jiang 主要從事神經架構搜索、視頻理解和高級表征學習領域的研究，師從德州大學奧斯汀分校電子與計算機工程系助理教授 Zhangyang Wang。

在本科期間，Yifan Jiang 曾在字節跳動 AI Lab 實習。今年夏天，他將進入 Google Research 實習。

一作主頁：https://yifanjiang.net/