AI大覺醒：圖靈獎得主Bengio稱AI將產生意識，未來機器學習核心是注意力機制
人工智能會產生意識嗎？
這是一直以來美劇《西部世界》中探討的問題。AI主人公覺醒，意識到這個世界是人類殺伐主宰的樂園，于是開啟了逆襲之路。
在本周舉行的2020年ICLR上，圖靈獎得主、蒙特利爾學習算法研究所主任Yoshua Bengio對AI和機器學習的未來提供了最新的見解。他講到未來機器學習完全有可能超越無意識，向全意識邁進。而注意力機制正是實現這一過程的關鍵要素。
這位大咖2月份剛剛在紐約的2020年AAAI 會議上與圖靈獎獲得者 Geoffrey Hinton 和 Yann LeCun 一起發(fā)表了演講。而在ICLR的演講中，Bengio 闡述了他更早之前的一些想法。
注意力機制是啥？
注意力機制來源于人類的視覺注意力，是人類在進化過程中形成的一種處理視覺信息的機制。最簡單的例子，比如看一個圖片，會有特別顯眼的場景率先吸引注意力，因為大腦中對這類東西很敏感。
注意力是神經科學理論的核心，該理論認為人們的注意力資源有限，所以大腦會自動提煉最有用的信息。
在機器學習的語境下，「注意力」指的是一個算法關注一個或同時關注到幾個元素的機制。它是一些機器學習模型架構的核心。2017年，谷歌論文Attention is All You Need當中提出了Transformer，一個利用注意力機制來提高模型訓練速度的方法。Transformer在一些特定任務中性能表現超過Google之前的神經機器翻譯模型。
Google Transformer架構
目前，注意力模型（Attention Model）已經在自然語言處理、圖像識別以及語音識別等領域取得了最先進的成果，是深度學習技術中最值得關注與深入了解的核心技術之一。注意力模型也是構成企業(yè)AI的基礎，幫助員工完成一系列認知要求高的任務。
類比人類思維，靠直覺還是靠推理？
Bengio 在演講中談到了美籍以色列心理學家兼經濟學家 Daniel Kahneman 在他2011出版的開創(chuàng)性著作《思考，快與慢》中提出的認知系統(tǒng)。
第一種認知類型是無意識的（快系統(tǒng)），憑直覺，非常快速，非語言性的，基于慣性，它只涉及隱含的知識類型，是人潛意識中的知識，深藏于腦海中。
簡單說，這種過程不費腦子，第一反應，直覺地做出回應。比如說，思考1+1=2的過程。
當然這種直覺思考的過程會產生很多偏差，比如說曝光效應，光環(huán)效應等。曝光效應一個最明顯的例子就是電視廣告，天天重復播放的信息給你洗腦，會在人的大腦里構成曝光效應，讓你覺得這個產品好。直覺很多時候是非理性的。
第二種認知類型是有意識的（慢系統(tǒng)），基于語言學和算法，要涉及更高級一些的推理和規(guī)劃，以及顯性的知識。換句話說，是需要費力思考的，比較慢，比如說腦內運算158乘以67。
正是快和慢的結合構成了我們人類的思維模式。
Bengio將這個人類的有意識思維和AI進行對比，他指出，有意識的認知系統(tǒng)的一個有趣特征是，它可以在新的情境下，將語義概念進行重組，這也是人工智能和機器學習算法所具備的特性。
某種程度上，AI和機器學習算法比人腦的直覺要更加理性。
這讓人想起《西部世界》的科學顧問，神經學家大衛(wèi)·伊格爾曼（David Eagleman）說的一句話，意識，是一種突破程序設定的連接。我們能夠復制大腦的算法；如果這個算法等同于意識，那意識也理應可以被復制和轉移。
意識從無到有，未來AI不再「跟著感覺走」？
目前的機器學習方法還沒有完全超越無意識到全意識，但是 Bengio 相信這種轉變未來是完全有可能的。
他指出，神經科學研究表明，有意識的思維中涉及的語義變量往往是含有因果關系的ーー它們涉及的對象可控，比如說意圖。換句話說，不再跟著感覺走，是有邏輯和目的性在其中。
同時，語義變量和思維之間存在映射關系，例如詞語和句子之間的關系，而且已有的概念可以進行重新組合，形成新的、不熟悉的概念。
注意力正是實現這一過程的核心要素之一，Bengio 解釋道。
在此基礎上，他和同事們在去年的一篇論文中提出了循環(huán)獨立機制(recurrent independent mechanism，RIMs) ，這是一種新的模型架構，在這種架構中，多組單元獨立運作，相互之間通過注意力機制交流。前者保證了專業(yè)，后者保證了泛化。
實驗目標是，證明 RIM 能夠改善模型在不同環(huán)境和模塊化任務中的泛化效果。該研究不關注該方法是否超出高度優(yōu)化的基線模型，而是想展示該方法面對大量不同任務時的通用性，且這些任務的環(huán)境是不斷變化的。
圖 10：RIM 與 LSTM 基線模型的對比。在這 4 個不同實驗中，研究者對比了 RIM 和兩個不同的 LSTM 基線模型。在所有案例中，研究者發(fā)現 rollout 過程中，RIM 比 LSTM 更準確地捕捉到球的運動軌跡。
實驗結果表明，RIM具備專門化（specialization）特性，可大幅提升模型在大量不同任務上的泛化性能。
「這使得智能體能夠更快地適應分布的變化，或者... ... 推斷出變化發(fā)生的原因，」Bengio 說。
他又講到想要打造「有意識」的AI系統(tǒng)面臨幾大挑戰(zhàn)，包括訓練模型進行元學習(或理解數據中的因果關系) ，以及加強機器學習和強化學習之間的集成。但他相信，生物學和AI研究之間的相互作用最終將解開這把神奇的鑰匙，使這些機器可以像人類一樣推理，甚至表達情感。
「神經科學早已開始研究意識相關的問題了... ... 在過去的幾十年里取得了很大進展。我認為現在是時候將這些進展納入到機器學習模型當中了。」Bengio在演講中表示。
看來西部世界中的世界也不遠了...
