語言處理想突破，三座大山必須過
大數據文摘出品
編譯：李佳、湯圓、錢天培
“我的飛機什么時候到?”
把這個問題拋給智能機器人助手。幾乎可以肯定，機器立馬就懵逼了。
“我”是誰?“飛機”是航班還是淘寶上訂的模型玩具呢?“到”又是到哪呢?
如果是人類來回答這個問題，即使在情景不明確的情況下也能在快速澄清后給出回答，但對機器來說，除非依賴大量人為制定的規則，回答這樣的問題難度堪比“哥德巴赫猜想”。
面對自然語言處理發展(NLP)存在的諸多難題，該領域的大牛、Salesforce的首席科學家Richard Socher在近日指出：NLP領域的發展要過三座大山。
困擾NLP領域的這三座大山究竟是什么?一起來聽大佬說。
一直以來，語言都被認為是人類的獨特能力，是智慧的表現。但最近，自然語言處理技術的發展似乎也將語言能力賦予給了機器。
幫你打電話訂餐，給你講故事，解決各種刁鉆的冷知識問答…機器的語言能力已經無限接近人類水平。
現在你可以走進昏暗的客廳，讓Alexa把智能燈的亮度提高到75%。你也可以詢問他世界另一邊的天氣情況。在Google最近的Duplexde，AI助理已經能夠給理發店打電話，為你預約剪發。
曾經被視為科幻的場景現在變為了現實，但為了維持真正的人機關系，機器必須能夠與人進行更直觀、理解上下文和自然的對話--這仍然是一個挑戰。我致力于研究NLP，但是就像AI一樣，我們還在這個旅程的開始階段。
語言是分享信息和與周圍連接的一種機制，但是機器需要理解語言的復雜性以及作為人類是如何使用語言進行交流的。情感分析、問題回答和聯合多任務學習方面的進步使AI能夠真正理解人類以及我們的交流方式。
情感分析
語言本身就是復雜的。它不斷發展，而且細致入微，一般人需要數年才能掌握。通過情緒分析，我們可以使用AI來理解特定內容，比如品牌或電影評價是正面的、負面的還是中性的。
我們也能弄清楚演講者的態度和意圖(她是生氣，高興，驚訝還是準備好要買東西了?)。從客戶服務到在線社區調節再到算法交易，能夠即時分析數千條推特和數百條產品評論來理解公眾對一個品牌的看法，這對于企業來說是非常有價值的。
情感分析技術已經存在了一段時間，但并不總是非常精準。隨著NLP的進展，這種情況正在發生變化。在我擔任首席科學家的Salesforce，我們的AI(叫做Einstein)允許品牌能夠通過電子郵件，社交媒體，和聊天短信得到實時的情感分析，為客戶提供更好的體驗。
準確的情感分析，例如，服務代理可幫助了解應優先服務哪些不滿意的客戶，或者應向誰提供優惠。也可識別產品缺陷，衡量產品滿意度，通過社交平臺改變人們對品牌的認知。其他科技公司也提供類似服務。
對于情感分析來說，理解上下文也是很重要的。假設你有一家肥皂公司，有人在推特上說：“這種肥皂對嬰兒來說真的很棒。”這可以是對兒童肥皂的積極支持，也可能是暗諷這對孩子來說很可怕。
這句陳述可能包含很多上下文，但又很簡單!使用AI分析某一句子結構的所有可能性，并理解一個人在特定語境下的用意，是NLP研究的重大挑戰。它既需要標記數據來改進模型培訓，也需要新的模型在學習上下文的同時在許多不同類型的任務之間共享知識。
問答
隨著NLP更好地解析文本的含義，幫助管理我們生活的數字助理智能將會提高。Siri和Google Assistant等應用程序可為常見問題提供優質答案，并執行簡單的命令。理想情況下，我們應該能夠問電腦任意問題，并且得到好的答案。
提供更好答案的一種方式是確保計算機理解問題。如果你問“我的飛機什么時候到達?”計算機怎么知道是在談論你的航班還是從亞馬遜訂購的木工工具呢?
通過對語義的更深入理解，再加上對上下文數據的更好使用，計算機在判斷語義這方面正變得越來越好。我們正在研究如何使用NLP學習每一層上下文，這樣AI就可以同時處理所有內容，而不會錯過重要的信息。
例如，動態共聚焦網絡( dynamic coattention networks可以根據不同的問題對單個文檔進行不同的解釋，比如，面對一篇體育報道，在回答“哪位運動員獲得了冠軍?”和“最年輕的參賽者是幾歲?”這兩個問題是，機器就能對這篇報道作出不同的理解，從而反復假設多個答案，最終得到最好、最準確的結果。
聯合多任務學習
科學界善于構建能很好地執行單個任務的人工智能模型。但是，更直觀、會話式的并聯系上下文的界面則需要一個不斷學習的AI模型，它能夠將新任務與舊任務集成起來，并在這個過程中學習執行更加復雜的任務。總體上來說，這對所有AI都是適用的，但在語言方面尤其如此，因為語言需要靈活性。
“誰是我的客戶?”這是一個十分簡單的任務：創建客戶列表。但是，“誰是太平洋西北地區對某一特定產品的最佳潛在客戶呢”?這樣的問題增加了一層復雜性，需要大量的集成任務來提供答案，例如：如何定義“最佳”?客戶定位在哪里?是什么因素導致客戶對產品感興趣的?每增加一個因素，問題的復雜性都會急劇增加。
Salesforce研究公司最近進行了一項名為“自然語言十項全能”的研究，該研究將多個任務轉化為問答的形式，從而在一個單模型中解決了NLP最困[1]難的10項任務：問題回答，機器翻譯，摘要，自然語言推理，情感分析，語義角色標注，關系提取，目標導向對話，數據庫查詢生成，代詞消解。
使用多任務問答模型，將每個任務作為一種問答形式，單個模型在沒有任何特定參數或模塊的情況下共同學習和處理不同的任務。這不僅意味著數據科學家不再需要為每項任務建立、訓練和優化單個模型，而且還意味著該模型具有零射擊(zero-shot)學習能力---換句話說就是該模型可以處理以前從未見過或專門訓練過的任務。
隨著研究人員繼續改進這樣的模型，我們會看到AI界面在承擔更復雜任務時變得更聰明。
雖然我們已經研究NLP很長時間了，但我們要走的路還長著呢。希望隨著NLP技術的提升，人類與機器的交互形式最終能夠迎來質的飛躍。
相關報道：
https://hbr.org/2018/07/ais-next-great-challenge-understanding-the-nuances-of-language
【本文是51CTO專欄機構大數據文摘的原創文章，微信公眾號“大數據文摘（ id: BigDataDigest）”】
