ChatGPT和其他生成式AI (GAI)技術屬于人工智能生成內容(AIGC)的范疇，它涉及通過AI模型創建數字內容，如圖像、音樂和自然語言。AIGC的目標是使內容創建過程更加高效和可訪問，允許以更快的速度生產高質量的內容。AIGC是通過從人類提供的指令中提取和理解意圖信息，并根據其知識和意圖信息生成內容來實現的。

近年來，大規模模型在AIGC中變得越來越重要，因為它們提供了更好的意圖提取，從而改善了生成結果。隨著數據和模型規模的增長，模型可以學習的分布變得更加全面和接近現實，從而產生更加真實和高質量的內容。

本文全面回顧了生成模型的歷史，基本組件，以及AIGC的最新進展，從單模態交互和多模態交互。從單模態的角度，介紹了文本和圖像的生成任務和相關模型。從多模態的角度出發，介紹上述模態之間的交叉應用。最后討論了AIGC存在的開放問題和未來的挑戰。

論文地址：https://arxiv.org/abs/2303.04226

引言

近年來，人工智能生成內容(Artificial Intelligence Generated Content, AIGC)受到了計算機科學界以外的廣泛關注，全社會開始關注大型科技公司[3]構建的各種內容生成產品，如ChatGPT[4]和DALL-E2[5]。AIGC指的是使用高級生成AI (GAI)技術生成的內容，而不是由人類作者創建的內容，AIGC可以在短時間內自動創建大量內容。例如，ChatGPT是OpenAI開發的用于構建對話式人工智能系統的語言模型，可以有效地理解并以有意義的方式響應人類的語言輸入。此外，DALL-E-2是另一個最先進的GAI模型，也是由OpenAI開發的，它能夠在幾分鐘內從文本描述中創建獨特的高質量圖像，如圖1所示的“一個宇航員以逼真的風格騎馬”。隨著AIGC的卓越成就，許多人認為這將是人工智能的新時代，并將對整個世界產生重大影響。

從技術上講，AIGC是指給定人工指令，可以幫助教學和指導模型完成任務，利用GAI算法生成滿足指令的內容。該生成過程通常包括兩個步驟:從人工指令中提取意圖信息和根據提取的意圖生成內容。然而，如之前的研究[6,7]所示，包含上述兩個步驟的GAI模型的范式并不完全新穎。與之前的工作相比，最近的AIGC的核心進展是在更大的數據集上訓練更復雜的生成模型，使用更大的基礎模型架構，并能夠訪問廣泛的計算資源。例如，GPT-3的主框架保持與GPT-2相同，但預訓練數據大小從WebText [8](38GB)增長到CommonCrawl[9](過濾后570GB)，基礎模型大小從1.5B增長到175B。因此，在人類意圖提取等任務上，GPT-3比GPT-2具有更好的泛化能力。

除了數據量和計算能力增加帶來的好處，研究人員還在探索將新技術與GAI算法集成的方法。例如，ChatGPT利用來自人類反饋的強化學習(RLHF)[10-12]來確定給定指令的最適當響應，從而隨著時間的推移提高模型的可靠性和準確性。這種方法使ChatGPT能夠更好地理解人類在長對話中的偏好。同時，在計算機視覺領域，由Stability提出了穩定擴散[13]。AI在2022年也在圖像生成方面取得了巨大成功。與之前的方法不同，生成擴散模型可以通過控制探索和利用之間的權衡來幫助生成高分辨率圖像，從而將生成圖像的多樣性和與訓練數據的相似性和諧地結合起來。

結合這些進展，模型在AIGC任務上取得了顯著進展，并被應用于各個行業，包括藝術[14]、廣告[15]、教育[16]等。在不久的將來，AIGC將繼續成為機器學習的一個重要研究領域。因此，對過去的研究進行廣泛的調研并確定該領域的開放問題至關重要。對AIGC領域的核心技術和應用進行了綜述。

這是對AIGC的首次全面綜述，從技術和應用兩個方面對GAI進行了總結。之前的研究從不同的角度關注GAI，包括自然語言生成[17]，圖像生成[18]，多模態機器學習中的生成[7,19]。然而，之前的工作只關注AIGC的特定部分。本文首先回顧了AIGC中常用的基礎技術。進一步對先進的GAI算法進行了全面的總結，包括單峰生成和多峰生成，如圖2所示。此外，還討論了AIGC的應用和潛在挑戰。最后指出了該領域存在的問題和未來的研究方向。綜上所述，本文的主要貢獻如下:

• 據我們所知，我們是第一個為AIGC和AI增強生成過程提供正式定義和徹底調研的人。
• 回顧了AIGC的歷史和基礎技術，并從單模態生成和多模態生成的角度對GAI任務和模型的最新進展進行了全面分析。
• 討論了AIGC面臨的主要挑戰以及AIGC未來的研究趨勢。

調研的其余部分組織如下。第二節主要從視覺模態和語言模態兩個方面回顧了AIGC的歷史。第3節介紹了目前在GAI模型訓練中廣泛使用的基本組件。第4節總結了GAI模型的最新進展，其中第4.1節從單模態角度回顧了進展，第4.2節從多模態生成的角度回顧了進展。在多模態生成中，介紹了視覺語言模型、文本音頻模型、文本圖模型和文本代碼模型。第5節和第6節介紹了GAI模型在AIGC中的應用以及與該領域相關的一些重要研究。第7、8節揭示了AIGC技術存在的風險、存在的問題和未來的發展方向。最后，我們在9中總結了我們的研究。

生成式人工智能的歷史

生成模型在人工智能領域有著悠久的歷史，可以追溯到20世紀50年代，隱馬爾可夫模型(HMM)[20]和高斯混合模型(GMMs)[21]的發展。這些模型生成了語音和時間序列等順序數據。然而，直到深度學習的出現，生成模型才在性能上看到了顯著的改進。

在早期的深度生成模型中，不同的領域通常沒有太多的重疊。在自然語言處理(NLP)中，傳統的生成句子的方法是使用N-gram語言建模[22]學習單詞分布，然后搜索最佳序列。然而，該方法不能有效地適應長句子。為了解決這個問題，循環神經網絡(RNN)[23]后來被引入到語言建模任務中，允許對相對較長的依賴關系進行建模。隨后，長短期記憶(LSTM)[24]和門控循環單元(GRU)[25]的發育，它們利用門控機制在訓練過程中控制記憶。這些方法能夠處理樣本[26]中的約200個標記，與N-gram語言模型相比，這是一個顯著的改進。

同時，在計算機視覺(CV)領域，在基于深度學習的方法出現之前，傳統的圖像生成算法使用紋理合成[27]和紋理映射[28]等技術。這些算法基于手工設計的特征，在生成復雜多樣的圖像方面能力有限。2014年，生成對抗網絡(Generative Adversarial Networks, GANs)[29]被首次提出，在各種應用中取得了令人印象深刻的結果，是該領域的一個重要里程碑。變分自動編碼器(vae)[30]和其他方法，如擴散生成模型[31]，也已開發用于對圖像生成過程進行更細粒度的控制和生成高質量圖像的能力

生成模型在不同領域的發展遵循不同的路徑，但最終出現了交叉的問題:transformer架構[32]。Vaswani等人在2017年引入了NLP任務，Transformer后來被應用于CV中，然后成為不同領域許多生成模型的主要骨干[9,33,34]。在NLP領域，許多著名的大型語言模型，如BERT和GPT，采用transformer架構作為其主要的構建塊，比之前的構建塊(如LSTM和GRU)具有優勢。在CV中，Vision Transformer (ViT)[35]和Swin Transformer[36]后來通過將Transformer架構與視覺組件相結合，進一步發展了這一概念，使其可以應用于基于圖像的下游。除了transformer給單個模態帶來的改進之外，這種交叉還使來自不同領域的模型能夠融合在一起，以完成多模態任務。多模態模型的一個例子是CLIP[37]。CLIP是一種視覺-語言聯合模型，將transformer架構與視覺組件相結合，允許它在大量文本和圖像數據上進行訓練。由于它在預訓練時結合了視覺和語言知識，因此也可以作為多模態提示生成中的圖像編碼器。總而言之，基于transformer的模型的出現徹底改變了人工智能的產生，并導致了大規模訓練的可能性。

近年來，研究人員也開始引入基于這些模型的新技術。例如，在NLP中，人們有時喜歡少樣本提示[38]，而不是微調，這是指在提示中包括從數據集中選擇的一些示例，以幫助模型更好地理解任務需求。在視覺語言中，研究人員經常將特定模態模型與自監督對比學習目標相結合，以提供更魯棒的表示。在未來，隨著AIGC越來越重要，會有越來越多的技術被引入，讓這個領域充滿活力。

生成式人工智能

我們將介紹最先進的單模態生成模型。這些模型被設計為接受特定的原始數據模態作為輸入，例如文本或圖像，然后以與輸入相同的模態生成預測。我們將討論這些模型中使用的一些最有前途的方法和技術，包括生成語言模型，如GPT3[9]、BART[34]、T5[56]和生成視覺模型，如GAN[29]、VAE[30]和歸一化流[57]。

多模態模型

多模態生成是當今AIGC的重要組成部分。多模態生成的目標是通過學習數據[7]的多模態連接和交互來學習生成原始模態的模型。模態之間的這種連接和相互作用有時是非常復雜的，這使得多模態表示空間與單模態表示空間相比很難學習。然而，隨著前面提到的強大的特定于模式的基礎架構的出現，越來越多的方法被提出來應對這一挑戰。在本節中，我們將介紹視覺語言生成、文本音頻生成、文本圖形生成和文本代碼生成中的最先進的多模態模型。由于大多數多模態生成模型總是與實際應用高度相關，本節主要從下游任務的角度進行介紹。

應用

效率

在過去的十年中，具有神經網絡的深度生成式人工智能模型一直主導著機器學習領域，其崛起歸功于2012年的ImageNet競賽[210]，這導致了一場創建更深入和更復雜模型的競賽。這種趨勢也出現在自然語言理解領域，像BERT和GPT-3這樣的模型已經開發出了大量參數。然而，不斷增加的模型占用空間和復雜性，以及訓練和部署所需的成本和資源，給現實世界中的實際部署帶來了挑戰。核心挑戰是效率，可以分解如下:

• 推理效率: 這與部署用于推理的模型的實際考慮有關，即為給定的輸入計算模型的輸出。推理效率主要與推理期間模型的大小、速度和資源消耗(例如，磁盤和RAM使用)有關。
• 訓練效率: 這涵蓋了影響訓練模型的速度和資源需求的因素，如訓練時間、內存占用和跨多個設備的可伸縮性。它還可能包括考慮在給定任務上實現最佳性能所需的數據量。