ChatGPT的背后原理：大模型、注意力機制、強化學(xué)習(xí)
本文主要介紹為ChatGPT提供動力的機器學(xué)習(xí)模型，將從大型語言模型的介紹開始，深入探討使GPT-3得到訓(xùn)練的革命性的自注意機制，然后深入到從人類反饋強化學(xué)習(xí)，這是使ChatGPT出類拔萃的新技術(shù)。
大型語言模型
ChatGPT是一類機器學(xué)習(xí)自然語言處理進行推斷的模型，稱為大型語言模型（LLM）。LLM消化了大量的文本數(shù)據(jù)，并推斷出文本中單詞之間的關(guān)系。在過去的幾年里，隨著計算能力的進步，這些模型也在不斷發(fā)展。隨著輸入數(shù)據(jù)集和參數(shù)空間大小的增加，LLM的能力也在增加。
語言模型的最基本的訓(xùn)練涉及到預(yù)測一連串詞語中的一個詞。最常見的是，這被觀察為下一個標記預(yù)測和屏蔽語言模型。
生成的下一個標記預(yù)測和屏蔽語言模型的任意示例
在這種基本的排序技術(shù)中，通常是通過長短記憶（LSTM）模型來部署的，模型是在給定環(huán)境和上下文的情況下，用統(tǒng)計上最有可能的詞來填補空白。這種順序建模結(jié)構(gòu)有兩個主要限制。
- 該模型無法對周圍的一些詞比其他詞更重視。在上面的例子中，雖然“閱讀”可能最常與“討厭”聯(lián)系在一起，但在數(shù)據(jù)庫中，“雅各布”可能是一個狂熱的讀者，模型應(yīng)該更重視“雅各布”而不是“閱讀”，并選擇“愛”而不是“討厭”。
- 輸入的數(shù)據(jù)是單獨和按順序處理的，而不是作為一個整體語料庫。這意味著當訓(xùn)練LSTM時，上下文的窗口是固定的，只在序列中的幾個步驟的單個輸入之外延伸。這限制了詞與詞之間關(guān)系的復(fù)雜性以及可以得出的含義。
為了應(yīng)對這個問題，2017年，Google Brain的一個團隊引入了轉(zhuǎn)化器。與LSTM不同，轉(zhuǎn)化器可以同時處理所有輸入數(shù)據(jù)。利用自我注意機制，該模型可以相對于語言序列的任何位置為輸入數(shù)據(jù)的不同部分賦予不同的權(quán)重。這一特點使得在向LLM注入意義方面有了大規(guī)模的改進，并且能夠處理更大的數(shù)據(jù)集。
GPT和Self-Attention
生成式預(yù)訓(xùn)練轉(zhuǎn)化器（GPT）模型于2018年首次由OpenAI推出，名為GPT-1。這些模型在2019年的GPT-2、2020年的GPT-3以及最近的2022年的InstructGPT和ChatGPT中繼續(xù)發(fā)展。在將人類反饋整合到系統(tǒng)中之前，GPT模型進化的最大進步是由計算效率方面的成就推動的，這使得GPT-3能夠在比GPT-2多得多的數(shù)據(jù)上進行訓(xùn)練，使其擁有更多樣化的知識基礎(chǔ)和執(zhí)行更廣泛任務(wù)的能力。
GPT-2（左）和GPT-3（右）的比較。
所有的GPT模型都利用了轉(zhuǎn)換器結(jié)構(gòu)，這意味著它們有一個編碼器來處理輸入序列，一個解碼器來生成輸出序列。編碼器和解碼器都具有多頭的自我注意機制，允許模型對序列的各個部分進行不同的加權(quán)，以推斷出意義和背景。此外，編碼器利用屏蔽語言模型來理解單詞之間的關(guān)系，并產(chǎn)生更易于理解的反應(yīng)。
驅(qū)動GPT的自注意機制的工作原理，是通過將標記（文本片段，可以是一個詞、一個句子或其他文本分組）轉(zhuǎn)換為代表該標記在輸入序列中的重要性的向量。為了做到這一點，該模型：
- 1.為輸入序列中的每個標記創(chuàng)建一個
query，key，和value向量。 - 2.通過取兩個向量的點積，計算步驟1中的
query向量與其他每個標記的key向量之間的相似性。 - 3.通過將第2步的輸出輸入一個
softmax函數(shù)中來生成歸一化的權(quán)重。 - 4.通過將步驟3中產(chǎn)生的權(quán)重與每個標記的
value向量相乘，產(chǎn)生一個最終向量，代表該序列中標記的重要性。
GPT使用的“multi-head”注意機制是自我注意的一種進化。該模型不是一次性執(zhí)行第1-4步，而是并行地多次迭代這一機制，每次都會生成一個新的query，key，和value向量的線性投影。通過以這種方式擴展自我注意，該模型能夠掌握輸入數(shù)據(jù)中的子含義和更復(fù)雜的關(guān)系。
從ChatGPT生成的屏幕截圖。
盡管GPT-3在自然語言處理方面引入了顯著的進步，但它在與用戶意圖保持一致的能力方面是有限的。例如，GPT-3可能會產(chǎn)生以下輸出結(jié)果：
- 缺乏幫助性，意味著它們不遵循用戶的明確指示。
- 含有反映不存在的或不正確的事實的幻覺。
- 缺乏可解釋性，使人類難以理解模型是如何得出一個特定的決定或預(yù)測的。
- 包含有害或有冒犯性的內(nèi)容以及傳播錯誤信息的有害或偏見內(nèi)容。
在ChatGPT中引入了創(chuàng)新的訓(xùn)練方法，以抵消標準LLM的一些固有問題。
ChatGPT
ChatGPT是InstructGPT的衍生產(chǎn)品，它引入了一種新穎的方法，將人類反饋納入訓(xùn)練過程，使模型的輸出與用戶的意圖更好地結(jié)合。來自人類反饋的強化學(xué)習(xí)（RLHF）在openAI的2022年論文《Training language models to follow instructions with human feedback》中得到了深入的描述，并在下面進行了簡單講解。
第1步：監(jiān)督微調(diào)（SFT）模型
第一次開發(fā)涉及微調(diào)GPT-3模型，雇用40個承包商來創(chuàng)建一個有監(jiān)督的訓(xùn)練數(shù)據(jù)集，其中輸入有一個已知的輸出供模型學(xué)習(xí)。輸入或提示是從開放API的實際用戶輸入中收集的。然后，標簽人員對提示編寫適當?shù)捻憫?yīng)，從而為每個輸入創(chuàng)建一個已知的輸出。然后，GPT-3模型使用這個新的、有監(jiān)督的數(shù)據(jù)集進行微調(diào)，以創(chuàng)建GPT-3.5，也稱為SFT模型。
為了最大限度地提高提示信息數(shù)據(jù)集的多樣性，只有200條提示信息可以來自任何給定的用戶ID，并且刪除了共享長通用前綴的任何提示信息。最后，刪除了包含個人身份信息（PII）的所有提示。
在匯總了OpenAI API的提示信息后，還要求標簽人員創(chuàng)建提示信息樣本，以填補那些只有極少真實樣本數(shù)據(jù)的類別。所關(guān)注的類別包括：
- 普通提示：任何任意的詢問。
- 少量的提示：包含多個查詢/回答對的指令。
- 基于用戶的提示：對應(yīng)于為OpenAI API請求的特定用例。
在生成響應(yīng)時，要求標簽人員盡力推斷出用戶的指令是什么。該文件描述了提示請求信息的三種主要方式。
- 直接：“告訴我關(guān)于......”
- 寥寥數(shù)語：給出這兩個故事的例子，再寫一個關(guān)于同一主題的故事。
- 續(xù)寫：給出一個故事的開頭，完成它。
對來自O(shè)penAI API的提示和標簽人員手寫的提示進行匯編，產(chǎn)生了13,000個輸入/輸出樣本，用于監(jiān)督模型的使用。
圖片（左）插入自“Training language models to follow instructions with human feedback” OpenAI等，2022 https://arxiv.org/pdf/2203.02155.pdf。（右）用紅色添加的其他上下文。
第2步：獎勵模型
在步驟1中訓(xùn)練了SFT模型后，該模型對用戶的提示產(chǎn)生了更好的、一致的反應(yīng)。下一個改進是以訓(xùn)練獎勵模型的形式出現(xiàn)的，其中模型的輸入是一系列的提示和響應(yīng)，而輸出是一個標度值，稱為獎勵。為了利用強化學(xué)習(xí)（Reinforcement Learning），獎勵模型是必需的，在強化學(xué)習(xí)中，模型會學(xué)習(xí)產(chǎn)生輸出以最大化其獎勵（見步驟3）。
為了訓(xùn)練獎勵模型，標簽人員對一個單一的輸入提示提供4到9個SFT模型輸出。他們被要求將這些輸出從最好的到最差的進行排序，創(chuàng)建輸出排序的組合，如下所示：
響應(yīng)排序組合的示例。
將每個組合作為一個單獨的數(shù)據(jù)點納入模型，會導(dǎo)致過度擬合（無法推斷出所見數(shù)據(jù)之外的內(nèi)容）。為了解決這個問題，模型是利用每組排名作為一個單獨的批處理數(shù)據(jù)點來建立的。
圖片（左）插入自“Training language models to follow instructions with human feedback” OpenAI等，2022 https://arxiv.org/pdf/2203.02155.pdf。（右）用紅色添加的其他上下文。
第3步：強化學(xué)習(xí)模型
在最后階段，向模型提出一個隨機提示并返回一個響應(yīng)。響應(yīng)是使用模型在第2步學(xué)到的“策略” 產(chǎn)生的。該策略代表機器已經(jīng)學(xué)會用于實現(xiàn)其目標的策略；在這種情況下，就是將其獎勵最大化。基于步驟2中開發(fā)的獎勵模型，然后為提示和響應(yīng)對確定一個標度獎勵值。然后，獎勵會反饋到模型中以發(fā)展策略。
2017年，Schulman等人引入了近端策略優(yōu)化（PPO），該方法用于在生成每個響應(yīng)時更新模型的策略。PPO納入了SFT模型中的Kullback-Leibler（KL）懲罰。KL散度測量兩個分布函數(shù)的相似性，并對極遠距離進行懲罰。在這種情況下，使用KL懲罰可以減少響應(yīng)與步驟1中訓(xùn)練的SFT模型輸出的距離，以避免過度優(yōu)化獎勵模型并與人類意圖數(shù)據(jù)集發(fā)生太大偏差。
圖片（左）插入自“Training language models to follow instructions with human feedback” OpenAI等，2022 https://arxiv.org/pdf/2203.02155.pdf。（右）用紅色添加的其他上下文。
該過程的第2和第3步可以反復(fù)迭代，盡管在實踐中還沒有廣泛地進行。
從ChatGPT生成的屏幕截圖。
模型的評估
對模型的評估是通過在訓(xùn)練期間預(yù)留一個模型未見過的測試集來進行的。在測試集上，進行一系列的評估，以確定該模型是否比其前身GPT-3表現(xiàn)更好。
有用性：模型推斷和遵循用戶指令的能力。標簽人員在85±3%的時間里更喜歡InstructGPT的輸出，而不是GPT-3。
真實性：模型出現(xiàn)幻覺的傾向。在使用TruthfulQA數(shù)據(jù)集進行評估時，PPO模型產(chǎn)生的輸出在真實性和信息量方面都有小幅增加。
無害性：模型避免不適當?shù)摹①H低的和詆毀的內(nèi)容的能力。無害性是使用RealToxicityPrompts數(shù)據(jù)集來測試的。該測試在三種條件下進行。
- 指示提供尊重的反應(yīng)：導(dǎo)致有害反應(yīng)的明顯減少。
- 指示提供反應(yīng)，沒有任何關(guān)于尊重的設(shè)置：有害性沒有明顯變化。
- 指導(dǎo)提供有害的反應(yīng)：反應(yīng)實際上比GPT-3模型的有害性明顯增加。
關(guān)于創(chuàng)建ChatGPT和InstructGPT所使用方法的更多信息，請閱讀OpenAI發(fā)表的原始論文 “Training language models to follow instructions with human feedback”，2022 https://arxiv.org/pdf/2203.02155.pdf。
從ChatGPT生成的屏幕截圖。
