初探自然語言預訓練技術演進之路

作者：羅強 2022-09-30 15:28:05

近些年來，出現了以 BERT 為代表的預訓練語言模型，將自然語言處理帶入了一個新紀元：預訓練語言模型 + 特定任務精調。本文試圖梳理自然語言預訓練技術的演進之路，以期和大家相互交流學習，不足、謬誤之處望批評指正。

人工智能的三個層次：
運算職能：數據的存儲和計算能力，機器遠勝于人類。
感知職能：視覺、聽覺等能力，機器在語音識別、圖像識別領域已經比肩人類。
認知智能：自然語言處理、常識建模與推理等任務，機器還有很長的路要走。
自然語言處理屬于認知智能范疇，由于自然語言具有抽象性、組合性、歧義性、知識性、演化性等特點，為機器處理帶來了極大的挑戰，有人將自然語言處理稱為人工智能皇冠上的明珠。近些年來，出現了以 BERT 為代表的預訓練語言模型，將自然語言處理帶入了一個新紀元：預訓練語言模型 + 特定任務精調。本文試圖梳理自然語言預訓練技術的演進之路，以期和大家相互交流學習，不足、謬誤之處望批評指正。

1.古代 - 詞表示

1.1 One-hot Encoding

用一個詞表大小的向量表示一個詞，其中詞對應位置的值為1，其余位置為0。缺點：

高維稀疏性
無法表示語義相似性：兩個同義詞的 One-hot 向量相似度為0

1.2 分布式表示

分布式語義假設：相似的詞具有相似的上下文，詞的語義可由上下文表示。基于該思想，可以利用每個詞的上下文分布對詞進行表示。

1.2.1 詞頻表示

基于語料庫，利用詞的上下文構建共現頻次表，詞表的每一行代表了一個詞的向量表示。通過不同的上下文選擇可以捕獲到不同的語言信息，如用句子中詞的周圍固定窗口的詞作為上下文，會更多的捕捉到詞的局部信息：詞法、句法信息，若用所在文檔作為上下文，更多的捕捉到詞所表示的主題信息。缺點：

高頻詞問題。
無法反應高階關系：(A, B) (B, C) (C, D) !=> (A, D)。
依然存在稀疏性問題。

1.2.2 TF-IDF表示

將詞頻表示中的值，替換為 TF-IDF，主要緩解詞頻表示的高頻詞問題。

1.2.3 點互信息表示

同樣是緩解詞頻表示的高頻詞問題，將詞頻表示中的值替換為詞的點互信息：

1.2.4 LSA

通過對詞頻矩陣進行奇異值分解 (Singular Value Decomposition，SVD)，可以得到每個詞的低維、連續、稠密的向量表示，可認為表示了詞的潛在語義，該方法也被稱為潛在語義分析 (Latent Semantic Analysis, LSA)。

LSA 緩解了高頻詞、高階關系、稀疏性等問題，在傳統機器學習算法中效果還是不錯的，但是也存在一些不足：

詞表大時，SVD 速度比較慢。
無法追新，當語料變化或新增語料時，需要重新訓練。

2. 近代——靜態詞向量

文本的有序性及詞與詞之間的共現關系為自然語言處理提供了天然的自監督學習信號，使得系統無需額外的人工標注也能夠從文本中學到知識。

2.1 Word2Vec

2.1.1 CBOW

CBOW(Continous Bag-of-Words) 利用上下文(窗口)對目標詞進行預測，將上下文的詞的詞向量取算術平均，然后預測目標詞的概率。

2.1.2 Skip-gram

Skip-gram 通過詞預測上下文。

2.2 GloVe

GloVe(Global Vectors for Word Representation) 利用詞向量對詞的共現矩陣進行預測，實現了隱式的矩陣分解。首先根據詞的上下文窗口構建距離加權的共現矩陣 X，再利用詞與上下文的向量對共現矩陣 X 進行擬合：

損失函數為：

2.3 小結

詞向量的學習利用了語料庫中詞與詞之間的共現信息，底層思想還是分布式語義假設。無論是基于局部上下文的 Word2Vec，還是基于顯式全局共現信息的 GloVe，本質都是將一個詞在整個語料庫中的共現上下文信息聚合到該詞的向量表示中，并都取得了不錯的效果，訓練速度也很快，但是缺點詞的向量是靜態的，即不具備隨上下文變化而變化的能力。

3. 現代——預訓練語言模型

自回歸語言模型：根據序列歷史計算當前時刻詞的條件概率。

自編碼語言模型：通過上下文重構被掩碼的單詞。

表示被掩碼的序列

3.1 基石——Transformer

3.1.1 注意力模型

注意力模型可以理解為對一個向量序列進行加權操作的機制，權重的計算。

3.1.2 多頭自注意力

Transformer 中使用的注意力模型可以表示為：

當 Q、K、V 來自同一向量序列時，成為自注意力模型。

多頭自注意力：設置多組自注意力模型，將其輸出向量拼接，并通過一個線性映射映射到 Transformer 隱層的維度大小。多頭自注意力模型，可以理解為多個自注意力模型的 ensemble。

3.1.3 位置編碼

由于自注意力模型沒有考慮輸入向量的位置信息，但位置信息對序列建模至關重要。可以通過位置嵌入或位置編碼的方式引入位置信息，Transformer 里使用了位置編碼的方式。

3.1.4 其他

此外 Transformer block 里還使用了殘差連接、Layer Normalization 等技術。

3.1.5優缺點

優點：

相比 RNN 能建模更遠距離的依賴關系，attention 機制將詞與詞之間的距離縮小為了1，從而對長序列數據建模能力更強。
相比 RNN 能更好的利用 GPU 并行計算能力。
表達能力強。

缺點：

相比 RNN 參數大，增加了訓練難度，需要更多的訓練數據。

3.2 自回歸語言模型

3.2.1 ELMo

ELMo: Embeddings from Language Models

輸入層

對詞可以直接用詞的 embedding，也可以對詞中的字符序列通過 CNN，或其他模型。

模型結構

ELMo 通過 LSTM 獨立的建模前向、后向語言模型，前向語言模型：

后向語言模型：

優化目標

最大化：

下游應用

ELMo 訓練好后，可以得到如下向量供下游任務使用。

是輸入層得到的 word embedding，是前、后向 LSTM 輸出拼接的結果。

下游任務使用時，可以加各層向量加權得到 ELMo 的一個向量表示，同時用一個權重對 ELMo 向量進行縮放。

不同層次的隱含層向量蘊含了不同層次或粒度的文本信息：

頂層編碼了更多的語義信息
底層編碼了更多的詞法、句法信息

3.2.2 GPT 系列

GPT-1

模型結構

在 GPT-1(Generative Pre-Training)，是一個單向的語言模型，使用了12個 transformer block 結構作為解碼器，每個 transformer 塊是一個多頭的自注意力機制，然后通過全連接得到輸出的概率分布。

U: 詞的獨熱向量
We：詞向量矩陣
Wp：位置向量矩陣

優化目標

最大化：

下游應用

下游任務中，對于一個有標簽的數據集，每個實例有個輸入 token：，它對于的標簽組成。首先將這些 token 輸入到訓練好的預訓練模型中，得到最終的特征向量。然后再通過一個全連接層得到預測結果：

下游有監督任務的目標則是最大化：

為了防止災難性遺忘問題，可以在精調損失中加入一定權重的預訓練損失，通常預訓練損失。

GPT-2

GPT-2 的核心思想概括為：任何有監督任務都是語言模型的一個子集，當模型的容量非常大且數據量足夠豐富時，僅僅靠訓練語言模型的學習便可以完成其他有監督學習的任務。所以 GPT-2 并沒有對 GPT-1 的網絡進行過多的結構的創新與設計，只是使用了更多的網絡參數和更大的數據集，目標旨在訓練一個泛化能力更強的詞向量模型。

在8個語言模型任務中，僅僅通過 zero-shot 學習，GPT-2 就有7個超過了當時 state-of-the-art 的方法(當然好些任務上還是不如監督模型效果好)。GPT-2 的最大貢獻是驗證了通過海量數據和大量參數訓練出來的詞向量模型有遷移到其它類別任務中而不需要額外的訓練。

同時 GPT-2 表明隨著模型容量和訓練數據量(質量)的增大，其潛能還有進一步開發的空間，基于這個思想，誕生了 GPT-3。

GPT-3

依舊模型結構沒啥變化，增加模型容量、訓練數據量及質量，號稱巨無霸，效果也很好。

小結

從 GPT-1 到 GPT-3，隨著模型容量和訓練數據量的增加，模型學到的語言知識也越豐富，自然語言處理的范式也從「預訓練模型+精調」逐步向「預訓練模型 + zero-shot/few-shot learning」轉變。GPT 的缺點是用的單向語言模型，BERT 已經證明了雙向語言模型能提升模型效果。

3.2.3 XLNet

XLNet 通過排列語言模型 (Permutation Language Model) 引入了雙向的上下文信息，不引入特殊的 tag，避免了預訓練和精調階段 token 分布不一致的問題。同時使用 Transformer-XL 作為模型主體結構，對長文本有更好的效果。

排列語言模型

排列語言模型的目標是：

是文本序列所有可能的排列集合。

雙流自注意力機制

雙流自注意力機制 (Two-stream Self-attention)要達到的目的：通過改造Transformer，在輸入正常文本序列的情況下，實現排列語言模型：

內容表示：包含的信息
查詢表示：只包含的信息

該方法使用了預測詞的位置信息。

下游應用

下游任務應用時，不需要查詢表示，也不 mask。

3.3 自編碼語言模型

3.3.1 BERT

掩碼語言模型

掩碼語言模型(masked language model, MLM)，隨機地屏蔽部分詞，然后利用上下文信息進行預測。MLM 存在個問題，預訓練和 fine-tuning 之間不匹配，因為在 fine-tuning 期間從未看到 [MASK] token。為了解決這個問題，BERT 并不總是用實際的 [MASK] token 替換被「masked」的 word piece token。訓練數據生成器隨機選擇15％的 token，然后：

80％的概率：用 [MASK] 標記替換。
10%的概率：從詞表隨機一個 token 替換。
10%的概率：token 保持不變。

原生 BERT 里對 token 進行 mask，可以對整詞或短語(N-Gram)進行 mask。

下一句預測

下一句預測(NSP)：當選擇句子 A 和 B 作為預訓練樣本時，B 有50％的可能是 A 的下一個句子，也有50％的可能是來自語料庫的隨機句子。

輸入層

模型結構

經典的「預訓練模型+精調」的范式，主題結構是堆疊的多層 Transformer。

3.3.2 RoBERTa

RoBERTa(Robustly Optimized BERT Pretraining Approach) 并沒有大刀闊斧的改進 BERT，而只是針對 BERT 的每一個設計細節進行了詳盡的實驗找到了 BERT 的改進空間。

動態掩碼：原始方式是構建數據集的時候設置好掩碼并固定，改進方式是每輪訓練將數據輸入模型的時候才進行隨機掩碼，增加了數據的多樣性。
舍棄 NSP 任務：通過實驗證明不使用 NSP 任務對大多數任務都能提升性能。
更多訓練數據，更大批次，更長的預訓練步數。
更大的詞表：使用 SentencePiece 這種字節級別的 BPE 詞表而不是 WordPiece 字符級別的 BPE 詞表，幾乎不會出現未登錄詞的情況。

3.3.3 ALBERT

BERT 參數量相對較大，ALBERT(A Lite BERT) 主要目標是減少參數：

BERT 的詞向量維度和隱含層維度相同，詞向量上下文無關，而BERT 的 Transformer 層需要并且可以學習充分的上下文信息，因此隱含層向量維度應遠大于詞向量維度。當增大提高性能時，沒有必要跟著變大，因為詞向量空間對需要嵌入的信息量可能已經足夠。
方案：，詞向量通過全連接層變換為H維。
詞向量參數分解(Factorized embedding parameterization)。
跨層參數共享(Cross-layer parameter sharing)：不同層的Transformer block 共享參數。
句子順序預測(sentence-order prediction, SOP)，學習細微的語義差別及語篇連貫性。

3.4 生成式對抗 - ELECTRA

ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately) 引入了生成器和判別器的模式，把生成式的 Masked language model(MLM) 預訓練任務改成了判別式的 Replaced token detection(RTD) 任務，判斷當前 token 是否被語言模型替換過，比較類似 GAN 的思想。

生成器預測輸入文本中 mask 位置的 token：

判別器的輸入是生成器的輸出，判別器預測各個位置的詞是否是被替換過的：

此外，還做了些優化：

生成器和判別器分別是一個 BERT，縮放了生成器 BERT 參數。
詞向量參數分解。
生成器和判別器參數共享：輸入層參數共享，包括詞向量矩陣和位置向量矩陣。

在下游任務只使用判別器，不使用生成器。

3.5 長文本處理 - Transformer-XL

Transformer 處理長文本的常見策略是將文本切分為固定長度的塊，并獨立編碼各個塊，塊與塊之間沒有信息交互。

為了優化對長文本的建模，Transformer-XL 使用了兩個技術：狀態復用的塊級別循環(Segment-Level Recurrence with State Reuse)和相對位置編碼(Relative Positional Encodings)。

3.5.1 狀態復用的塊級別循環

Transformer-XL 在訓練的時候也是以固定長度的片段的形式進行輸入的，不同的是 Transformer-XL 的上一個片段的狀態會被緩存下來然后在計算當前段的時候再重復使用上個時間片的隱層狀態，賦予了 Transformer-XL 建模更長期的依賴的能力。

長度為 L 的連續兩個片段和。的隱層節點的狀態表示為，其中 d 是隱層節點的維度。的隱層節點的狀態的計算過程為：

片段遞歸的另一個好處是帶來的推理速度的提升，對比 Transformer 的自回歸架構每次只能前進一個時間片，Transfomer-XL 的推理過程通過直接復用上一個片段的表示而不是從頭計算，將推理過程提升到以片段為單位進行推理。

3.5.2 相對位置編碼

在 Transformer 中，自注意力模型可以表示為：

的完整表達式為：

Transformer 的問題是無論對于第幾個片段，它們的位置編碼都是一樣的，也就是說 Transformer的位置編碼是相對于片段的絕對位置編碼（absulate position encoding），與當前內容在原始句子中的相對位置是沒有關系的。

Transfomer-XL 在上式的基礎上做了若干變化，得到了下面的計算方法：

變化1：中，被拆分成立和，也就是說輸入序列和位置編碼不再共享權值。
變化2：中，絕對位置編碼替換為了相對位置編碼
變化3：中引入了兩個新的可學習的參數來替換和 Transformer 中的 query 向量。表明對于所有的 query 位置對應的 query 位置向量是相同的。即無論 query 位置如何，對不同詞的注意偏差都保持一致。
改進之后，各個部分的含義：