NLP新里程碑！清華姚班畢業(yè)生發(fā)布KEAR：首次常識問答超越人類
以后再也不能說人類比AI還懂常識了！最近由微軟黃學(xué)東坐鎮(zhèn)，清華姚班畢業(yè)生發(fā)布了一個新系統(tǒng)KEAR，成功刷榜各大常識問答排行榜，常識問答性能首次超越人類，甚至非英文的常識他也懂！
AI模型一直為人詬病的一點(diǎn)就是只會「死學(xué)習(xí)」，只能根據(jù)給定的訓(xùn)練樣本來進(jìn)行預(yù)測，稍微問一點(diǎn)「常識性」的問題它都回答不了。
比如你問GPT-3：太陽有幾個眼睛？
它會毫不猶豫的告訴你：當(dāng)然是一個眼睛！
雖然常識信息沒有體現(xiàn)在輸入文本中，但如果不懂常識的話，那回答只能是驢唇不對馬嘴。
為了解決這類常識性錯誤，研究人員借助ConceptNet建立了一個專門針對常識問答的數(shù)據(jù)集CommonsenseQA，要求模型必須得了解常識才能夠正確回答問題。
每個問題包含五個候選答案，其中有兩個是干擾項(xiàng)，對AI模型來說屬于是難上加難了。
例如給定一個問題：你的狗喜歡吃什么？（What is a treat that your dog will enjoy?）
候選答案可能是沙拉（salad）、撫摸（petted）、喜愛（affection）、骨頭（bone）、關(guān)心（lots of attention）等。人在與狗交往的過程中，可以了解到大部分狗都喜歡吃骨頭，從而推理出你的狗在候選答案中也更傾向于骨頭，但AI模型并不懂。
所以想要正確回答這個問題，必須要懂得如何利用外部知識。
然后CommonsenseQA的作者拿了一個當(dāng)時橫掃各大排行榜的模型BERT-LARGE來做測試，結(jié)果慘不忍睹，準(zhǔn)確率只有55.9%，而人類的回答準(zhǔn)確率已經(jīng)達(dá)到了88.9%了。
時間來到三年后，最近來自微軟的華人團(tuán)隊(duì)發(fā)表了一篇論文，提出了一個KEAR（Knowledge External Attention for commonsense Reasoning）系統(tǒng)，將CommonsenseQA常識問答的性能抬到了新高度，準(zhǔn)確率達(dá)到89.4%，成功超越人類，堪稱AI常識領(lǐng)域的里程碑模型了。
相比傳統(tǒng)AI模型需要大規(guī)模數(shù)據(jù)來訓(xùn)練，這篇論文提出了一種外部注意力機(jī)制（external attention mechanism）來增強(qiáng)Transformer架構(gòu)，能夠把外部知識信息集成到預(yù)測的過程中，從而減少了模型對大參數(shù)量的需求，讓AI系統(tǒng)更加民主化（democratization），也就是說可以降低AI模型研究的門檻，不用從老黃那買特別多的顯卡，也能實(shí)現(xiàn)SOTA性能。
大體來說，KEAR模型在回答「你的狗喜歡吃什么」這個問題的時候，它會首先從ConceptNet實(shí)體鏈中檢索出「狗— desires — petted, affection, bone, lots of attention」，這樣就排除了一個錯誤答案沙拉。
然后KEAR會從Wiktionary中檢索出骨頭的定義：構(gòu)成大多數(shù)脊椎動物骨架的復(fù)合材料（a composite material making up the skeleton of most vertebrates）；
從CommonsenseQA數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)中檢索出「狗喜歡吃什么？骨頭」（What do dogs like to eat? bones）。
再將檢索到的知識和輸入的知識進(jìn)行級聯(lián)后，KEAR將其作為DeBERTa模型的輸入，最后可以推理出正確答案：骨頭！
可以看到，對于人類來說最簡單的一個問題，AI模型要完成卻需要大量的外部信息才能正確回答。
由于CommonsenseQA只是英文常識問答的數(shù)據(jù)，文中還探索了一下其他語言的常識推理是否依然有效。
研究人員首先將非英語問題翻譯成英語，然后在英語的語料數(shù)據(jù)中檢索知識，然后將知識文本翻譯成源語言，經(jīng)過外部注意力機(jī)制后再翻譯獲得答案，即翻譯-檢索-翻譯（TRT）。
結(jié)果也是在X-CSR基準(zhǔn)上的兩個任務(wù)X-CODAH和X-CSQA都取得了第一名。
不止于自注意力
時至今日，大部分AI模型基本都在源文本上使用自注意力機(jī)制，通過把大量的數(shù)據(jù)喂給模型進(jìn)行訓(xùn)練，從而使模型記住輸入的文本。
雖然Transformer的效果很好，但缺點(diǎn)也很明顯：
- 時間和空間復(fù)雜度太高，需要大量的顯卡和顯存
- 數(shù)據(jù)量不夠的情況下，Transformer表現(xiàn)不夠好
另一方面，Transformer本質(zhì)上還是黑盒模型，沒辦法讓他像人類一樣進(jìn)行文本理解和推理，知道AI為什么產(chǎn)生這樣的預(yù)測是很重要的，KERA通過利用知識圖譜、字典和公開可用的機(jī)器學(xué)習(xí)數(shù)據(jù)的常識性知識，能夠一定程度地反應(yīng)答案的來源及模型推理過程。
外部注意力的實(shí)現(xiàn)方法也很簡單，將輸入（input）和知識（knowledge）級聯(lián)起來作為新的輸入，然后將整體作為H0經(jīng)過自注意力機(jī)制即可。
其中K(nowledge)的來源包括知識圖譜ConceptNet, 字典和訓(xùn)練數(shù)據(jù)。
可以看到，自注意力和外部注意力的主要區(qū)別就是輸入是否只來源于輸入文本，即通過向外部注意力機(jī)制提供不同來源的相關(guān)背景和知識，包括知識圖譜、字典、語料庫和其他語言模型的輸出，然后讓模型同時對輸入進(jìn)行自注意力和對知識進(jìn)行外部注意力，就能達(dá)到引入外部知識的效果。
引入的外部信息以符號（symbol）的方式存儲，如純文本或知識圖譜條目，從而能夠提升Transformer在語言理解方面的能力。
并且KEAR使用的輸入和知識的文本級聯(lián)不會對Transformer模型結(jié)構(gòu)產(chǎn)生任何改變，使現(xiàn)有的系統(tǒng)可以很容易地使用外部注意力。
因?yàn)槭澜缟系闹R也是在動態(tài)變化的，所以外部注意力的另一個好處是，用戶可以很容易地更新知識源來改變模型的預(yù)測輸出。
通過引入最新的常識，例如將在線更新的知識圖譜輸入到模型中，可以使模型的決策過程變得更加透明和可解釋。
而用多模塊聯(lián)合優(yōu)化、加上外注意力引入知識庫也是微軟人工智能認(rèn)知服務(wù)提質(zhì)量的核心方向。
作者介紹
文章的第一作者是徐一翀，本科畢業(yè)于清華大學(xué)姚班，于卡內(nèi)基梅隆大學(xué)取得博士學(xué)位，主要研究方向?yàn)榻换ナ綑C(jī)器學(xué)習(xí)，自然語言處理和深度學(xué)習(xí)。目前是微軟AI Cognitive Services研究組的高級研究員。
朱晨光是微軟認(rèn)知服務(wù)研究組的首席研究負(fù)責(zé)人。他領(lǐng)導(dǎo)知識和語言團(tuán)隊(duì)，從事文本總結(jié)、知識圖譜和面向任務(wù)的對話方面的研發(fā)工作。他于2016年在斯坦福大學(xué)獲得計算機(jī)科學(xué)博士學(xué)位和統(tǒng)計學(xué)碩士學(xué)位，在此之前于清華大學(xué)姚班獲得計算機(jī)科學(xué)學(xué)士學(xué)位。
黃學(xué)東是微軟AI認(rèn)知服務(wù)工程和研究團(tuán)隊(duì)的領(lǐng)導(dǎo)人，IEEE/ACM院士(IEEE/ACM Fellow) ，微軟首位「華人全球技術(shù)院士」、微軟首席語音科學(xué)家、微軟云計算與人工智能事業(yè)部認(rèn)知服務(wù)團(tuán)隊(duì)全球技術(shù)院士/全球人工智能首席技術(shù)官。他先后獲得湖南大學(xué)學(xué)士學(xué)位，清華大學(xué)碩士學(xué)位和英國愛丁堡大學(xué)博士學(xué)位。
