在最新的博客文章中，谷歌公布了一個(gè)新的 NLP 模型，在文本分類任務(wù)上可以達(dá)到 BERT 級(jí)別的性能，但參數(shù)量?jī)H為 BERT 的 1/300。

在過(guò)去的十年中，深度神經(jīng)網(wǎng)絡(luò)從根本上變革了自然語(yǔ)言處理（NLP）領(lǐng)域的發(fā)展，但移動(dòng)端有限的內(nèi)存和處理能力對(duì)模型提出了更高的要求。人們希望它們可以變得更小，但性能不打折扣。

去年，谷歌發(fā)布了一種被稱為 PRADO 的神經(jīng)架構(gòu)，該架構(gòu)當(dāng)時(shí)在許多文本分類問(wèn)題上都實(shí)現(xiàn)了 SOTA 性能，并且參數(shù)量少于 200K。大多數(shù)模型對(duì)每個(gè) token 使用固定數(shù)目的參數(shù)，而 PRADO 模型使用的網(wǎng)絡(luò)結(jié)構(gòu)只需要很少的參數(shù)即可學(xué)習(xí)與任務(wù)最相關(guān)或最有用的 token。

論文鏈接：https://www.aclweb.org/anthology/D19-1506.pdf

在最新的博客文章中，谷歌的研究者宣布它們改進(jìn)了 PRADO，并將改進(jìn)后的模型稱為 pQRNN。新模型以最小的模型尺寸達(dá)到了 NLP 任務(wù)的新 SOTA。pQRNN 的新穎之處在于，它將簡(jiǎn)單的投影運(yùn)算與 quasi-RNN 編碼器相結(jié)合，以進(jìn)行快速、并行的處理。該研究表明，pQRNN 模型能夠在文本分類任務(wù)上實(shí)現(xiàn) BERT 級(jí)別的性能，但參數(shù)量?jī)H為原來(lái)的 1/300。

PRADO 的工作原理

在一年前開(kāi)發(fā)該模型時(shí)，PRADO 在文本分割上充分利用特定領(lǐng)域的 NLP 知識(shí)，以降低模型大小和提升模型性能。通常來(lái)說(shuō)，首先通過(guò)將文本分割成與預(yù)定義通用詞典中的值相對(duì)應(yīng)的 token，將 NLP 模型的文本輸入處理成適用于神經(jīng)網(wǎng)絡(luò)的形式。然后，神經(jīng)網(wǎng)絡(luò)使用可訓(xùn)練參數(shù)向量（包括嵌入表）來(lái)唯一識(shí)別每個(gè)文本片段。但是，文本分割的方式對(duì)模型性能、大小和延遲都有顯著的影響。

下圖展示了 NLP 社區(qū)使用的各種文本分割方法及其相應(yīng)的優(yōu)缺點(diǎn)：

由于文本片段的數(shù)量是影響模型性能和壓縮的重要參數(shù)，因此引出了一個(gè)問(wèn)題，即 NLP 模型是否需要能夠清楚地識(shí)別每個(gè)可能的文本片段。為了回答這個(gè)問(wèn)題，研究者探索了 NLP 任務(wù)的固有復(fù)雜性。

只有語(yǔ)言建模和機(jī)器翻譯等少數(shù) NLP 任務(wù)需要了解文本片段之間的細(xì)微差異，因此可能需要唯一識(shí)別所有可能的文本片段。其他大多數(shù)任務(wù)僅通過(guò)了解這些文本片段的子集即可解決。此外，任務(wù)相關(guān)的文本片段子集并不一定是頻率最高的部分，因?yàn)榭赡芎艽笠徊糠质菍Ｓ玫墓谠~，如 a、an 和 the，而這些對(duì)很多任務(wù)來(lái)說(shuō)并不重要。

所以，允許網(wǎng)絡(luò)決定給定任務(wù)的最相關(guān)片段可以實(shí)現(xiàn)更好的性能。并且，網(wǎng)絡(luò)不需要唯一識(shí)別這些文本片段，只需要識(shí)別出文本片段的聚類即可。舉例而言，情感分類器只需要了解與文本中的情感強(qiáng)相關(guān)的片段聚類就行了。

基于此，PRADO 被設(shè)計(jì)成從詞（word）中學(xué)習(xí)文本片段的聚類，而不是 word piece 或字符，從而使它能夠在低復(fù)雜度 NLP 任務(wù)中實(shí)現(xiàn)良好的性能。由于 word unit 更有意義，而且與大多數(shù)任務(wù)最相關(guān)的詞并不多，所以學(xué)習(xí)相關(guān)詞聚類的簡(jiǎn)化子集所需要的模型參數(shù)就少了很多。

改進(jìn) PRADO

谷歌研究者在 PRADO 的基礎(chǔ)上開(kāi)發(fā)了一個(gè)更強(qiáng)的 NLP 模型——pQRNN。該模型由三個(gè)構(gòu)建塊組成——一個(gè)是將文本中的 token 轉(zhuǎn)化為三元向量序列的投影算子、一個(gè)密集 bottleneck 層和若干 QRNN 編碼器。

pQRNN 中投影層的實(shí)現(xiàn)與 PRADO 中所用到的一致，幫助模型學(xué)習(xí)相關(guān)性最強(qiáng)的 token，但沒(méi)有一組固定的參數(shù)來(lái)定義這些 token。它首先對(duì)文本中的 token 進(jìn)行識(shí)別，然后使用一個(gè)簡(jiǎn)單的映射函數(shù)將其轉(zhuǎn)換為三元特征向量。這將產(chǎn)生一個(gè)三元向量序列，該序列具有平衡對(duì)稱分布，用來(lái)表示文本。這種表示沒(méi)有直接用途，因?yàn)樗话鉀Q感興趣任務(wù)所需的任何信息，而且網(wǎng)絡(luò)無(wú)法控制這種表示。

研究者將其與一個(gè)密集 bottleneck 層結(jié)合在一起，以使網(wǎng)絡(luò)可以學(xué)習(xí)到一個(gè)與手頭任務(wù)相關(guān)的逐詞表示。bottleneck 層產(chǎn)生的表示仍然沒(méi)有考慮到詞的上下文。因此，研究者利用若干雙向 QRNN 編碼器學(xué)習(xí)了一個(gè)上下文表示。這樣可以得到一個(gè)僅從文本輸入就能學(xué)到上下文表示的網(wǎng)絡(luò)，并且無(wú)需任何預(yù)處理。

pQRNN 的性能

研究者在 civil_comments 數(shù)據(jù)集上評(píng)估了 pQRNN，并將其與 BERT 模型在相同的任務(wù)中進(jìn)行了比較。模型的大小與其參數(shù)量成正比，因此 pQRNN 比 BERT 小得多。

此外，pQRNN 還進(jìn)行了量化處理（quantized），因此模型體積進(jìn)一步縮小到原來(lái)的 1/4。公開(kāi)訓(xùn)練的 BERT 在本文的任務(wù)中表現(xiàn)不好，因此拿來(lái)對(duì)比的 BERT 其實(shí)是在幾個(gè)不同的相關(guān)多語(yǔ)言數(shù)據(jù)源上進(jìn)行預(yù)訓(xùn)練得到的，以使其達(dá)到最好的表現(xiàn)。

在實(shí)驗(yàn)中，研究者得到了兩個(gè)模型的 AUC 信息。在沒(méi)有任何預(yù)訓(xùn)練、只在監(jiān)督數(shù)據(jù)訓(xùn)練的情況下，pQRNN 的 AUC 是 0.963，用到了 130 萬(wàn)個(gè)量化（8-bit）參數(shù)。在幾個(gè)不同數(shù)據(jù)源進(jìn)行預(yù)訓(xùn)練并在監(jiān)督數(shù)據(jù)上進(jìn)行微調(diào)之后，BERT 模型得到的 AUC 是 0.976，用到了 1.1 億個(gè)浮點(diǎn)參數(shù)。

為了鼓勵(lì)社區(qū)在谷歌研究成果的基礎(chǔ)上做出進(jìn)一步改進(jìn)，谷歌還開(kāi)源了 PRADO 模型。

項(xiàng)目地址：https://github.com/tensorflow/models/tree/master/research/sequence_projection