近年來，基于 Transformer 的大規模多模態訓練促成了不同領域最新技術的改進，包括視覺、語言和音頻。特別是在計算機視覺和圖像語言理解方面，單個預訓練大模型可以優于特定任務的專家模型。

然而，大型多模態模型通常使用模態或特定于數據集的編碼器和解碼器，并相應地導致涉及的協議。例如，此類模型通常涉及在各自的數據集上對模型的不同部分進行不同階段的訓練，并進行特定于數據集的預處理，或以特定于任務的方式遷移不同部分。這種模式和特定于任務的組件可能會導致額外的工程復雜性，并在引入新的預訓練損失或下游任務時面臨挑戰。

因此，開發一個可以處理任何模態或模態組合的單一端到端模型，將是多模態學習的重要一步。本文中，來自谷歌研究院（谷歌大腦團隊）、蘇黎世的研究者將主要關注圖像和文本。

論文地址：https://arxiv.org/pdf/2212.08045.pdf

許多關鍵統一加速了多模式學習的進程。首先經證實，Transformer 架構可以作為通用主干，并且在文本、視覺、音頻和其他領域上表現良好。其次，許多論文探索了將不同的模態映射到單個共享嵌入空間以簡化輸入 / 輸出接口，或開發一個用于多個任務的單一接口。第三，模態的替代表示允許在一個領域中利用另一個領域設計的神經架構或訓練程序。例如，[54] 和 [26,48] 分別表示文本和音頻，通過將這些形式呈現為圖像（在音頻的情況下為頻譜圖）進行處理。

本文將對使用純基于像素的模型進行文本和圖像的多模態學習進行探索。該模型是一個單獨的視覺 Transformer，它處理視覺輸入或文本，或兩者一起，所有都呈現為 RGB 圖像。所有模態都使用相同的模型參數，包括低級特征處理；也就是說，不存在特定于模態的初始卷積、tokenization 算法或輸入嵌入表。該模型僅用一個任務訓練：對比學習，正如 CLIP 和 ALIGN 所推廣的那樣。因此模型被稱作 CLIP-Pixels Only（CLIPPO）。 

在 CLIP 設計用于圖像分類和文本 / 圖像檢索的主要任務上，盡管沒有特定的 tower 模態，CLIPPO 的表現也與 CLIP 相似（相似度在 1-2% 之內）。令人驚訝的是，CLIPPO 不需要任何從左到右的語言建模、掩碼語言建模或顯式的詞級損失，就可以執行復雜的語言理解任務。特別是在 GLUE 基準測試上，CLIPPO 優于經典的 NLP 基線，如 ELMO+BiLSTM+attention，此外，CLIPPO 還優于基于像素的掩碼語言模型，并接近 BERT 的分數。

有趣的是，當簡單地將圖像和文本一起渲染時，CLIPPO 也可以在 VQA 上獲得良好的性能，盡管從未在此類數據上進行預訓練。與常規語言模型相比，基于像素的模型的一個直接優勢是不需要預先確定詞匯。因此，與使用經典 tokenizer 的等效模型相比，多語言檢索的性能有所提高。最后，該研究還發現，在某些情況下訓練 CLIPPO 時，之前觀察到的模態差距有所減少。

方法概覽

CLIP 已經成為一種強大的、可擴展的范式，用于在數據集上訓練多用途視覺模型。具體來說，這種方法依賴于圖像 /alt-text 對，這些可以從網絡上大規模自動收集。因此，文本描述通常是有噪音的，并且可能由單個關鍵字、關鍵字集或潛在的冗長描述組成。利用這些數據，聯合訓練兩個編碼器，即嵌入 alt-text 的文本編碼器和將相應圖像嵌入共享潛在空間的圖像編碼器。這兩個編碼器使用對比損失進行訓練，鼓勵相應圖像和 alt-text 的嵌入相似，同時與所有其他圖像和 alt-text 的嵌入不同。

一旦經過訓練，這樣的編碼器對可以以多種方式使用：它可以通過文本描述對固定的視覺概念集進行分類（零樣本分類）; 嵌入可用于檢索給定文本描述的圖像，反之亦然；或者，視覺編碼器可以通過對標記的數據集進行微調或通過在凍結的圖像編碼器表示上訓練頭部，以有監督的方式傳輸到下游任務。原則上，文本編碼器可以作為一個獨立的文本嵌入使用，不過據悉，還沒有人針對這種應用展開深入探討，一些研究引用了低質量的 alt-text 導致文本編碼器的語言建模性能較弱。

以前的工作表明，圖像和文本編碼器可以用一個共享 transformer 模型（也稱為單塔模型，或 1T-CLIP）實現，其中圖像使用 patch embedding 嵌入，tokenized 文本使用單獨的 word embedding 嵌入。除了模態特定的嵌入外，兩種模態的所有模型參數都是共享的。雖然這種類型的共享通常會導致圖像 / 圖像 - 語言任務的性能下降，但它也使模型參數的數量減少了一半。

CLIPPO 將這一想法更進一步：文本輸入呈現在空白圖像上，隨后完全作為圖像處理，包括初始的 patch embedding（參見圖 1）。通過與之前的工作進行對比訓練，生成了一個單一的視覺 transformer 模型，它可以通過單一的視覺接口來理解圖像和文本，并提供了一個可以用于解決圖像、圖像 - 語言和純語言理解任務的單一表示。

除了多模態多功能性，CLIPPO 還減輕了文本處理的常見困難，即開發適當的 tokenizer 和詞匯表。這在大量多語言設置的上下文中特別有趣，其中文本編碼器必須處理數十種語言。

可以發現，在圖像 /alt-text 對上訓練的 CLIPPO 在公共圖像和圖像語言基準上的表現與 1T-CLIP 相當，并且在 GLUE 基準上與強大的基線語言模型競爭。然而，由于 alt-texts 的質量較低，通常不是語法句子，僅從 alt-texts 學習語言理解從根本上是有限的。因此，可以在圖像 /alt-texts 對比預訓練中加入基于語言的對比訓練。具體而言，需要考慮到從文本語料庫中采樣的連續句對，不同語言的翻譯句對，后翻譯句對，以及有單詞缺失的句子對。

實驗結果

視覺和視覺-語言理解

圖像分類與檢索。表 1 顯示了 CLIPPO 的性能，可以看到，與 CLIP? 相比，CLIPPO 和 1T-CLIP 產生了 2-3 個百分點的絕對下降。

VQA。圖 2 中報告了模型和基線的 VQAv2 評分。可以看到，CLIPPO 優于 CLIP? 、1T-CLIP，以及 ViT-B/16，獲得了 66.3 的分數。

多語言視覺 - 語言理解

圖 3 表明，CLIPPO 實現了與這些基線相當的檢索性能。在 mT5 的情況下，使用額外的數據可以提高性能；在多語言上下文中利用這些額外的參數和數據將是 CLIPPO 未來一個有趣的方向。

語言理解

表 2 顯示了 CLIPPO 和基線的 GLUE 基準測試結果。可以觀察到，在 WebLI 上訓練的 CLIPPO 與 BiLSTM+Attn+ELMo 基線（其具有在大型語言語料庫上訓練的深度詞嵌入）相比具有競爭力。此外，我們還可以看到，CLIPPO 和 1T-CLIP 優于使用標準對比語言視覺預訓練訓練的語言編碼器。

更多研究細節，可參考原論文。