一、生成式模型商業化

現如今，生成式AI賽道火熱。根據PitchBook統計數據，2022年生成式AI賽道總共獲得約14億美元的融資，幾乎達到了過去5年的總和。OpenAI、Stability AI等明星公司，其他初創企業如Jasper、Regie.AI、Replika等均獲得資本青睞。

融資金額與時間關系圖

2022年10月，Stability AI獲得約1億美元融資，發布的開源模型Stable Diffusion，可以根據用戶輸入的文字描述生成圖片，引爆AI作畫領域。2022年11月30日，ChatGPT在宣布公測之后，上線5天，全球用戶數量已突破百萬。上線不到40天，日活用戶已突破千萬。2023年3月15日凌晨，OpenAI發布目前最強的GPT系列模型——GPT-4，提供大規模的多模態模型，可以接受圖像和文本輸入，產生文本輸出，在業內產生顛覆性的影響。2023年3月17日，微軟舉辦了Microsoft 365 Copilot發布會，正式把OpenAI的GPT-4 模型裝進了Office套件，推出了全新的AI功能Copilot。它不僅會做PPT，寫文案，還會做分析，生成視頻。此外，國內各個大廠也宣布陸續推出類ChatGPT的產品。2月8日，阿里巴巴專家爆料，達摩院正在研發類ChatGPT對話機器人，已開放給公司內員工測試。可能將AI大模型技術與釘釘生產力工具深度結合。2月8日，京東集團副總裁何曉冬坦言：京東在ChatGPT領域擁有豐富的場景和高質量的數據。2月9日，騰訊相關人士稱：騰訊目前也有ChatGPT相似產品和AI生成內容的計劃，專項研究也在有序推進。網易表示，教育業務將整合AI生成的內容，包括但不限于AI口語老師、作文打分和評價等。3月16日，百度百度正式發布大語言模型、生成式AI產品“文心一言”，發布兩天，已有12家企業完成首批簽約合作，申請百度智能云文心一言API調用服務測試的企業達9萬。

目前，大模型已經逐漸滲透我們的生活。未來，各行各業都有可能出現翻天覆地的變化。以ChatGPT為例，包括以下幾個方面：

• ChatGPT+傳媒：可以實現新聞智能寫作，提升新聞實效性；
• ChatGPT+影視：根據大眾興趣定制影視內容，獲得更高收視率，票房和口碑降低影視制作團隊在內容創作的成本，提高創作效率。
• ChatGPT+營銷：充當虛擬客服，助力產品營銷。例如24小時的產品介紹和在線服務，降低營銷成本；可以快速了解客戶需求，緊跟科技潮流；提供穩定可靠的咨詢服務，可控性和安全性強。
• ChatGPT+娛樂：實時的聊天對象，增強陪伴性和趣味性。
• ChatGPT+教育：提供全新的教育工具，通過自助提問來快速查缺補漏。
• ChatGPT+金融：實現金融資訊，金融產品的自動化生產，塑造虛擬理財顧問。
• ChatGPT+醫療：快速了解患者病情且及時反饋，第一時間情感支持。

需要說明的是，這里雖然主要討論的是大語言模型的落地，但是實際上其他多模態（音頻、視頻、圖片）的大模型一樣存在廣闊的應用場景。

二、生成式模型介紹

1、主流的大語言模型：LaMDA

由google公司發布。LaMDA模型基于transformer框架，擁有1370億模型參數，具備文本中長距離依賴的建模能力。該模型是通過對話來訓練的。主要包括預訓練和微調兩個過程：在預訓練階段，他們使用了多達1.56T的公共對話數據集和網頁文本，以語言模型（LM）作為訓練的目標函數，即目標是預測下一個字符（token）。在微調階段，他們設計來多個任務，例如給回復進行屬性打分（敏感度、安全性等等），使語言模型對其人類的偏好。下圖展示了其中一類的微調任務。

LaMDA模型預訓練階段

LaMDA模型微調階段任務之一

LaMDA模型專注于對話生成任務，但常犯事實性的錯誤。谷歌今年發布了Bard（一項試驗性的對話式AI服務）便是由LaMDA模型來提供支持。然而Bard在發布會上，Bard犯下事實性錯誤，這令谷歌周三股價大跌，盤中跌超8%，刷新日低至約98美元，市值蒸發1100億美元，讓人唏噓。

2、主流的大語言模型：InstructGPT

InstructGPT模型基于GPT架構，主要由有監督的微調（Supervise Fune-Tuning, SFT）和人類反饋的強化學習(Reinforce Learning Human Fune-tuning, RLHF)訓練得到。以InstructGPT為技術支持的對話產品——ChatGPT專注于生成語言文本，也可以生成代碼和進行簡單數學運算。具體的技術細節已經在上兩期進行過詳細探討，讀者可前往閱讀，此處不再贅述。

InstructGPT模型訓練流程圖

3、主流的大語言模型：Cluade

Cluade模型訓練流程圖

Cluade是Anthropic公司的對話型產品。Cluade與ChatGPT一樣，都是基于GPT框架，是單向的語言模型。然而，不同于ChatGPT，它主要由有監督的微調和AI反饋的強化學習訓練得到。在有監督的微調階段，它先制定了一系列規則（Constitution），例如不能生成有害信息，不能生成種族偏見等等，然后根據這些規則獲得有監督數據。隨后，讓AI來判斷分辨回復的優劣，自動訓練用于強化學習的數據集。

相比于ChatGPT而言，Claude 能更清晰地拒絕不恰當請求，句子之間銜接的也更自然。當遇到超出能力范圍的問題時，Claude 會主動坦白。目前，Cluade當前還處于內測階段。不過根據 Scale Sepllbook 團隊成員內部測試結果顯示，相比 ChatGPT，Claude在測試的12 項任務中有 8 項更強。

三、大語言模型的能力

我們統計了國內外的大語言模型以及模型能力、開源情況等。

國內流行的大語言模型

國外流行的大語言模型

可以看出，大語言模型表現的能力多種多樣，包括但不限于少樣本學習、零樣本遷移等等。那么有個很自然但問題產生了，這些能力都是怎么樣產生的呢？大語言模型的能力究竟來自于哪里？接下來，我們試圖解答上述的疑惑。

下圖展示了一些成熟大語言模型和進化過程。歸納出來，大多數模型會經歷三個階段：預訓練，指令微調和對齊。代表模型有Deepmind的Sparrow和OpenAI的ChatGPT。

流行大語言模型的進化圖

那么，在這每一步的背后，模型究竟可以獲得什么樣的能力呢？愛丁堡大學的符堯博士總結了他認為的步驟和能力的對應關系，給我們一些啟發。

1. 預訓練階段，該階段的目標是獲得一個強大的基礎模型。相應地，在此階段模型展現出來的能力有：語言生成，上下文學習能力，具備世界的知識，推理能力等等。此階段的代表性模型有GPT-3，PaLM等。

2. 指令微調階段。該階段的目標是解鎖一些涌現能力（emergent ability）。這里的涌現能力是特指小模型沒有，大模型才有的能力。經歷過指令微調后的模型，出現了基礎模型所沒有的能力。例如，通過構造新的指令，模型能夠解決新任務；再比如，思維鏈的能力，即通過展示給模型推理過程，模型也能仿照進行正確推理等，代表模型有InstructGPT，Flan等。

對齊階段。該階段的目標是使模型具備人類的價值觀，比如要產生有信息量的回復，不能產生歧視類的發言等等。可以認為，對齊階段賦予了模型們“個性化”。這類的代表模型有ChatGPT。

大語言模型三階段。圖片來自《符堯：論大語言模型能力的來源》

總地來說，上述三個階段相輔相成，缺一不可。只有預訓練階段得到了一個足夠強大的基礎模型，才有可能通過指令微調激發（或者增強）語言模型的其他能力。對齊階段賦予模型一定“性格”，更好地符合人類社會的一些要求。

四、生成式模型鑒別

大語言模型技術在帶來便利的同時，也包含著風險和挑戰。在技術層面，GPT生成的內容不能保證真實性，如會產生有害言論等。在使用層面，用戶可能在教育、科研等領域濫用 AI產生的文本。目前，多家公司和機構開始對ChatGPT的使用施加限制。微軟和亞馬遜因擔心泄露機密信息，禁止公司員工向ChatGPT分享敏感數據；香港大學禁止在港大所有課堂、作業和評估中使用ChatGPT或其他人工智能工具。我們主要介紹工業界的相關工作。

GPTZero：GPTZero是最早出現的文本生成鑒別工具。它是由Edward Tian（美國普林斯頓CS專業本科生）發布的在線網站（https://gptzero.me/）。它的原理靠文本困惑度（perplexity，PPL）作為指標來判斷所給內容到底是誰寫的。其中，困惑度用以評價語言模型的好壞指標，本質上是計算句子出現的概率。

GPTZero網站界面

（這里我們使用ChatGPT產生一段新聞報道，讓GPTZero判斷是否是生成的文本。）

GPT2 Output Detector：該工具由OpenAI發布。它利用“GPT2-生成內容”和Reddit數據集，在RoBerta上進行微調，學習一個檢測分類器。即“用魔法打敗魔法”。官網也提示說，只有當文本超過50個字符（token）時，預測結果才更加可信。

GPT2 Output Detector網站界面

AI Text Classifier: 該工具由OpenAI發布。原理是收集在同一個話題下人類寫作文本和AI寫作文本。將每一個文本都劃分成提示和回復對，讓GPT微調后產生答案（例如，讓GPT產生Yes/No）的概率作為結果閾值。該工具的劃分非常細致，結果包括5類：非常不可能是AI生成的（閾值<0.1），不太可能是AI生成的（閾值0.1~0.45），不清楚是否是AI寫的（閾值0.45~0.9），可能是AI生成的(閾值0.9-0.98)，很可能是AI生成的(閾值>0.98)。

AI Text Classifier網站界面

五、總結&展望

大語言模型擁有小模型沒有的涌現能力，例如優秀的零樣本學習、領域遷移、思維鏈能力。大模型的能力實際上來自于預訓練、指令微調和對齊，這三個過程密切相關，成就了現在超強的大語言模型。

大語言模型（GPT系列）目前還不具備置信更新、形式推理、互聯網檢索等能力，有專家認為，如果可以將知識卸載到模型之外，參數量會大大減少，大語言模型才能真正的更進一步。

只有在合理的監管和治理之下，人工智能技術才能更好地為人服務。國內發展大模型任重而道遠！

參考文獻

[1] https://stablediffusionweb.com

[2] https://openai.com/product/gpt-4

[3] LaMDA: Language Models for Dialog Applications, Arxiv 2022.10

[4] Constitutional AI: Harmlessness from AI Feedback，Arxiv 2022.12

[5] https://scale.com/blog/chatgpt-vs-claude#Calculation

[6] 國聯證劵：《ChatGPT 風口已至，商業化落地加速》

[7] 國泰君安證券：《ChatGPT研究框架2023》

[8] 符堯：預訓練、指令微調、對齊、專業化：論大語言模型能力的來源https://www.bilibili.com/video/BV1Qs4y1h7pn/?spm_id_from=333.880.my_history.page.click&vd_source=da8bf0b993cab65c4de0f26405823475

[9] 萬字長文解析！復現和使用GPT-3/ChatGPT，你所應該知道的https://mp.weixin.qq.com/s/ILpbRRNP10Ef1z3lb2CqmA