大語言模型的進展催生出了ChatGPT這樣的應用，讓大家對“第四次工業革命”和“AGI”的來臨有了一些期待，也作為部分原因共同造就了美股2023年的繁榮。LLM和視覺的結合也越來越多：比如把LLM作為一種通用的接口，把視覺特征序列作為文本序列的PrefixToken，一起作為LLM的輸入，得到圖片或者視頻的caption；也有把LLM和圖片生成模型、視頻生成模型結合的工作，以更好控制生成的內容。當然2023年比較熱門的一個領域便是多模態大模型，比如BLIP系列、LLaVA系列、LLaMA-Adapter系列和MiniGPT系列的工作。LLM的預訓練范式也對視覺基礎模型的預訓練范式產生了一定的影響，比如MAE、BEIT、iBOT、MaskFEAT等工作和BERT的Masked Language Modeling范式就很類似，不過按照GPT系列的自回歸方式預訓練視覺大模型的工作感覺不是特別多。

下面對最近視覺基礎模型的生成式預訓練的工作作一些簡單的介紹。

LVM

《Sequential Modeling Enables Scalable Learning for Large Vision Models》是UC Berkely和Johns Hopkins University在2023提出的一個影響比較大的工作，視覺三大中文會議也在頭版頭條做了報道，知乎的討論也比較熱烈。

• Sequential Modeling Enables Scalable Learning for Large Vision Models（https://arxiv.org/abs/2312.00785)
• ??https://github.com/ytongbai/LVM??
• ??https://yutongbai.com/lvm.html??

按照自回歸的生成式訓練模型的工作之前也有，比如Image Transformer和Generative Pretraining from Pixels等，不過無論是訓練的數據量還是模型的參數量都比較小。LVM把訓練數據統一表述成visual sentences的形式。對訓練數據、模型參數量都做了Scaling，并驗證了Scaling的有效性和模型的In-context推理能力。

本文的一大貢獻便是數據的收集和整理，和訓練LLM的文本數據一樣規模的視覺數據在之前缺乏的，因此從開源的各種數據源出發，得到了 1.64billion 圖片的數據集 UVDv1（Unified Vision Dataset v1）。文中對數據的來源以及將不同數據統一為visual sentences描述形式的方法做了詳細的介紹Fig 1，可以refer原文更多的細節。

Fig 1 Visual sentences 能夠將不同的視覺數據格式化為統一的圖像序列結構

Fig 2

Fig 2模型的結構如圖Fig 2所示，主要包含三部分：Tokenizer、Autoregressive Vision Model和DeTokenizer。

其中Tokenizer和DeTokenizer取自于VQ-GAN，codebook大小為8192，輸入圖片分辨率為256X256，下采樣倍數為16，因此一張輸入圖片對應的Token數目為16X16=256，這一個模塊通過LAION 5B數據的1.5B的子集來訓練。

這樣對于一個visual sentence，會得到一個Token的序列（和目前的很多多模態大模型不一樣，這兒沒有特殊的token用以指示視覺任務的類型），作為Autoregressive Vision Model的輸入，通過causal attention機制預測下一個Token。文中的自回歸視覺模型的結果和LLaMA的結構一樣，輸入的token 序列的長度為4096個token（16張圖片），同時在序列的開始和結束分別會放置[BOS](begin of sentence)和[EOS](end of sentence)，代表序列的開始和結束。整個模型在UVD v1（包含420 billion tokens）數據上訓練了一個epoch，模型的大小包括四種：300 million、600 million、1 billion和3 billion。

Fig 3

從Fig 3可以看出，訓練過程中，模型的loss一直在下降，而且模型參數量越大，loss下降越快

更多的實驗結果分析可以refer原文。

EMU

《Generative Pretraining in Multimodality》是BAAI、THU和PKU的工作，提出了多模態大模型EMU，EMU的輸入是image-text interleaved的序列，可以生成文本，也可以橋接一些擴散模型的Decoder生成圖片。

• https://arxiv.org/abs/2307.05222
• https://github.com/baaivision/Emu

Fig 4

EMU的結構如圖Fig 4所示，包含四個部分，Visual Encoder（文中用的EVA-02-CLIP）、Causal Transformer、Multimodal Modeling（LLaMA）和Visual Decoder（Stable Diffusion）。

text通過文本的tokenizer得到文本特征序列，和視覺信息對應特征序列連接，并在序列的開始和結束處分別添加表述開始和結束的特殊token，即[s]和[/s]。最后得到的多模態序列作為LLaMA的輸入，得到文本輸出，而LLaMA輸出的視覺特征序列作為擴散模型的條件輸入，得到生成的圖像。

對Emu預訓練之后，會對圖片生成的Stable Diffusion的Decoder進行微調。微調的時候，只有U-Net的參數會更新，其他的參數固定不變。訓練數據集為LAION-COCO和LAION-Aesthetics。每一個訓練樣本的文本特征序列的結尾處都會添加一個[IMG] token，最后通過自回歸的方式得到N個視覺特征，這些特征序列作為Decoder的輸入得到生成的圖片。

文中還對Emu進行多模態指令微調以對其human instructions。數據集包括來自于ShareGPT和Alpaca的文本指令、來自于LLaVA的圖像-文本指令以及來自于VideoChat和Video-ChatGPT的video指令。微調的時候，Emu的參數都會固定不變，只有LoRA模塊的參數更新。微調的指令跟隨數據集格式如下：

[USER]:[ASSISTANT]:。

[User]和[ASSISTANT]分別是單詞“word”和“assistant”對應的embedding，不同的任務下也有所不同。

Fig 5

Fig 5是Emu的In-context Learning推理的一個例子，輸入圖片-描述，以及query文本，會得到對應的輸出圖片。

4M

《4M: Massively Multimodal Masked Modeling》是瑞士洛桑聯邦理工和Apple發表在NeurIPS 2023的一個工作，提出了一種對視覺模型做生成式預訓練的范式4M（Massively Multimodal Masked Modeling），將多模態的輸入信息編碼為特征序列，作為Transformer encoder-decoder的輸入，同時采用Masked Modeling的方式，在大量的數據集上對模型進行了訓練預訓練，可以實現多模態輸入、多模態輸出，得到的transformer encoder也可以作為一些視覺任務的backbone網絡提取圖片特征。

• 4M: Massively Multimodal Masked Modeling(https://arxiv.org/abs/2312.06647)
• 4M: Massively Multimodal Masked Modeling(https://4m.epfl.ch/)

Fig 6

模型的結構如圖Fig 6所示，不同模態的輸入按照不同的方式編碼為特征序列，同時從特征序列中隨機選擇一部分作為context，另外一部分作為需要預測的target，模型基于context序列預測target序列。

RGB、normals或者depth圖則是用VQ_VAE的的encoder得到特征序列，同時用擴散模型的decoder得到重建結果，損失不是擴散模型里面常用的噪聲回歸損失，而是重建clean image的損失。

Fig 7

預訓練之后的模型可以通過自回歸的方式得到輸出的特征序列，這些特征序列可以通過對應的decoder解碼得到輸出的圖片、文本等，如圖Fig7所示。訓練之后encoder可以作為目標檢測、語義分割等視覺任務的骨架網絡。

VL-GPT

《VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation》是西交、騰訊和港大提出的一個工作。

• VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation(https://arxiv.org/abs/2312.09251)
• ??https://github.com/AILab-CVC/VL-GPT??

Fig 8

模型的結構如圖Fig 8所示，包含兩個部分，第一個部分是image tokenizer-detokenizer框架的訓練，第二個部分是VL-GPT模型的預訓練和指令微調。輸入模型的文本、圖片分別通過Image Tokenizer和Text Tokenizer得到圖像和文本特征序列，連接之后得到imate-text interleaved的文本-圖像特征序列，作為LLM的輸入，通過自回歸的方式得到輸出的特征序列，輸出的特征序列通過Image和Text Detokenizer得到生成的圖片和文本。

Fig 9

更多的細節可以refer原文。

VILA

《VILA: On Pre-training for Visual Language Models》是NVIDIA和MIT提出的一個工作，文中對視覺語言模型預訓練的有效機制進行了一些總結，并提出了一系列視覺語言的大模型VILA（Visual Language）。

• ??https://arxiv.org/abs/2312.07533??

Fig 10

模型的結構如圖Fig 10左圖所示，和LLaVA系列差不多，模型的訓練包含三個階段，如圖Fig 10所示。

通過一系列的實驗，文中得到了下面的三個結論：

1. LLM凍結與更新：在預訓練過程中，凍結大型語言模型（LLM）可以實現不錯的零樣本（zero-shot）性能，但缺乏上下文學習能力（in-context learning capability）。為了獲得更好的上下文學習能力，需要對LLM進行更新。實驗表明，更新LLM有助于在更深層次上對齊視覺和文本的潛在嵌入，這對于繼承LLM的上下文學習能力至關重要。
2. 交錯預訓練數據：交錯的視覺語言數據（如MMC4數據集）對于預訓練是有益的，而僅使用圖像-文本對（如COYO數據集）則不是最佳選擇。交錯數據結構有助于模型在保持文本能力的同時，學習與圖像相關的信息。
3. 文本數據重混合：在指令微調（instruction fine-tuning）階段，將文本指令數據重新混合到圖像-文本數據中，不僅能夠修復LLM在文本任務的性能退化，還能提高視覺語言任務的準確性。這種數據混合策略有助于模型在保持文本能力的同時，提升對視覺語言任務的處理能力。

EMU2

《Generative Multimodal Models are In-Context Learners》是Emu的團隊提出的另外一個工作，文中提出的多模態大語言模型Emu2對Emu進行了一些結構和訓練策略上的改進。

• Generative Multimodal Models are In-Context Learners(https://arxiv.org/abs/2312.13286)
• ??https://github.com/baaivision/Emu??
• ??https://baaivision.github.io/emu2/??

Fig 11

模型的結構如圖Fig 11所示，包含三個部分：Visual Encoder、Multimodal LLM和Visual Decoder，文中分別用EVA-02-CLIP-E-plus、LLaMA-33B和SDXL對上述的三個模塊進行參數初始化。和Emu相比，少了Casual Transformer，輸入的圖片通過mean pooling以及Visual Encoder提取圖像特征之后，通過線性映射連接Visual Encoder和Multimodal LLM。

在預訓練階段，用到的訓練數據包括image-text pair形式的數據（LAION-2B、CapsFusion-120M）、video-text pair形式的數據（WebVid-10M）、interleaved image-text形式的數據（Multimodal-C4 MMC4）、interleaved video-text形式的數據（YT-Storyboard-1B）、grounded image-text pair形式的數據（GRIT-20M、CapsFusoion-grounded-100M），同時為了保持模型的文本推理能力，還在只有文本數據的Pile上對模型進行了訓練。圖片都會通過visual encoder得到大小為N=64的圖像特征序列。

• 模型首先在image-text和video-text形式的數據上做了訓練，損失函數只在text token上進行了計算。
• 接下來，固定住Visual Encoder的參數，對linear projection layer和Multimodal LLM的參數進行訓練，包括文本的分類損失（這兒應該就是Cross Entropy）以及圖像回歸損失（針對圖像特征L2的損失）。訓練的時候，所有形式的數據都用來對模型進行了訓練。
• 最后會對Visual Decoder進行訓練，文中用SDXL-base對Visual Decoder的參數進行初始化，LLM輸出的 大小為N的圖像特征序列會做為Decoder的條件，引導圖片或者視頻的生成。用到的訓練數據包括LAION-COCO和LAION-Aesthetics，SDXL里面的Visual Encoder和VAE的參數都會固定不變，只有U-Net的參數會進行更新。

在指令微調階段，用不同類型的數據，得到兩個不同的指令微調模型，分別為Emu2-Chat和Emu2-Gen。Emu2-Chat可以基于多模態的輸入得到對應的輸出，Emu2-Gen則是接受文本、位置和圖片的輸入，生成符合輸入條件的圖片。

在訓練Emu2-Gen的時候，用到的數據包括CapsFusion-grounded-100M、Kosmos-2提到的GRIT、InstructPix2Pix里面數據、CapsFusion、LAION-Asthetics、SA-1B和LAION-High-Resolution，文中還從其他付費渠道收集了數據（比如Unsplash、Midjourney-V5和DALL-E-3生成的圖片等）。和其他多模態大模型不一樣，物體的坐標不是以文本的形式或者ROI特征向量的方式送入LLM，而是直接在黑白圖片上對應的坐標位置處繪制相應的框，得到的圖片通過Visual Encoder提取特征。整個序列如下：<s>A photo of <p>a man</p><coor>image embedding of object localization image</coor>[IMG]image embedding of man[/IMG]sitting next to <p>a dog</p><coor>image embedding of object localization image</coor>[IMG]image embedding of dog[/IMG][IMG]image embedding of the whole image[/IMG]</s>

Fig 12

生成的一些示例圖片如圖Fig 12所示。

DeLVM

《Data-efficient Large Vision Models through Sequential Autoregression》是華為諾亞實驗室的一個工作，是在LVM基礎上提出的一個工作。

• Data-efficient Large Vision Models through Sequential Autoregression(https://arxiv.org/abs/2402.04841)
• ??https://github.com/ggjy/DeLVM??

Fig 13

模型結構和LVM一直，如圖Fig 13 a 所示，這篇文章主要在兩個方面做了改進探索，比如數據增強和蒸餾。數據增強主要是對存在長尾分布的數據中數量較少的這一類型的數據做重復的采樣，也提高這部分數據的數量。

AIM

《Scalable Pre-training of Large Autoregressive Image Models》是蘋果提出的一個工作，也是通過自回歸的方式訓練視覺基礎模型，也發現了和LVM類似的和數據、模型參數量有關的Scaling效果，不過實現方式和LVM還是存在不小的差異。

• Scalable Pre-training of Large Autoregressive Image Models(https://arxiv.org/abs/2401.08541)
• ??https://github.com/apple/ml-aim??

Fig 14

Fig 15

如圖Fig 16，AIM觀察到了和LVM一樣的Scaling現象，即模型參數量越多，訓練的時候損失下降越快，效果也更好。在圖Fig 17中也可以看到，訓練的數據量越大，在驗證集上的損失下降就越低。

Fig 16

Fig 17

整體來說，是非常solid的一個工作，更多的細節可以refer原文。

本文轉自 AI生成未來 ，作者：vasgaowei

原文鏈接:??https://mp.weixin.qq.com/s/nGv_BCJxdcyJStaHIp-nLw??