【51CTO.com原創稿件】自然語言處理一直是人工智能發展道路上需要攻克的重要難關，說簡單一些其實就是教機器理解人類的語言并可以表達出來。

關于小冰與小娜

人工智能一直被人們津津樂道，今年尤其特別多，這是筆者目前最直觀的感受。說到這個，就不得不提及微軟小冰和微軟小娜兩款產品，這也是人們普遍關心的。如今的小娜已經擁有超過1.4億活躍用戶，在數以十億級計的設備上與人們進行交流，所覆蓋的語言已經有十幾種語言，包括中文。

總體來看，小娜主要是通過手機和智能設備介入，讓人與電腦進行交流，采用了“用戶發布命令、小娜加以執行”的模式。例如，過去經常路過某個地方買牛奶，在下次路過的時候，她就會提醒你，問你要不要買。筆者理解，其實微軟小娜的出現讓被動地“聽話”進化成為主動的“提醒”，而且從原來的手機，到微軟現在所有的產品，包括Xbox和Windows，都得到了應用，這一點還是挺神奇的進步。

與微軟小冰的互動對話

相比之下，小冰就會“隨意”很多。起初人們并不理解小娜出現了，小冰存在的意義。其實就筆者看來，閑聊這件事兒也并不是很容易就做到的，只有試圖將各種語言習慣以及知識模塊進行融匯貫通，才可以實現一種自由聊天的模式，他并沒想幫忙解決什么問題，純粹就是希望盡可能的“像人一樣”和你交談罷了，不得不說這也是一種難度不小的創新。現在小冰已經覆蓋了三種語言，分別是中文、日文、英文，同時也累積了上億用戶，很多人都會樂此不疲地和他聊天。

無論是小冰的閑聊，還是小娜的任務執行，微軟背后都有一個叫做LUIS(Language Understanding Intelligent Service)的平臺，提供了用戶的意圖理解能力、實體識別能力、對話的管理能力等。2016年，微軟***執行官薩提亞在微軟開發者大會上大會上提出了CaaP(“對話即平臺”)的概念，認為繼圖形界面的下一代就是對話，它會對人工智能、計算機設備帶來一場新革命，小冰和小娜就是微軟在做CaaP得時候主要的體現者。

探究小娜與小冰的技術內涵，微軟亞洲研究院副院長周明表示，***層就是通用聊天，需要掌握溝通技巧、通用聊天數據、主題聊天數據，還要知道用戶畫像，投其所好;第二層是信息服務和問答，需要搜索的能力，問答的能力，還需要對常見問題表進行收集、整理和搜索，從知識圖表、文檔和圖表中找出相應信息，并且回答問題，我們統稱為Info Bot;第三層涉及到面向特定任務的對話能力，例如定咖啡、定花、買火車票，這個任務是固定的，狀態也是固定的，狀態轉移也是清晰的，那么就可以用Bot一個一個實現。通過調度系統，用戶的意圖就是調用相應的Bot 執行相應的任務，用到的技術就是對用戶意圖的理解，對話的管理，領域知識，對話圖譜等。

這些年，微軟在探索

微軟對于這項技術的探究可以追溯到1998成立微軟亞洲研究院之始，那么自然語言處理對于微軟有多重要呢?

微軟通過技術、產品讓每個個體發揮巨大的潛能，具體體現在以人工智能為核心，重塑生產力和業務流程，構建智能的云平臺，創造個性化的服務等諸多方面。宏偉的目標終究需要具體的產品來實現，與此相對應的機器翻譯、知識圖譜、Bot Framework、智能客服等應運而生。

同時，從創造更加個性化的計算和重塑生產力的角度出發，類似于必應搜索、微軟小娜(Cortana)、微軟小冰等產品的出現，也確實從商業與服務的背后體現了自然語言處理技術的重要性。如今18年過去了，微軟亞洲研究院不但在人才培養以及校企合作等方面有了顯著的提高，更重要的是在科學研究、產品研發上取得了不小的進步。

[[194028]] 

微軟亞洲研究院副院長周明博士

自然語言處理技術作為微軟的“重頭戲”，業界不免好奇叢生。近日，筆者應邀前往微軟大廈參加微軟自然語言前沿技術分享會，與微軟亞洲研究院副院長周明博士以及其他研發人員一同探究其中的奧秘。

微軟一成立就做了很多關于機器翻譯方面的探究，后期開始著手基于規則、基于實例、基于統計的翻譯等，到了2007年基于統計的翻譯系統上線，提供免費的對外服務。據了解，2012年微軟亞洲研究院跟總部研究院合作完成了實時語音翻譯系統，同年在天津舉行的21世紀的計算大會上，當時微軟研究院的領導人Rick Rashid博士面對3000名觀眾現場成功演示了此項前沿技術，堪稱機器翻譯尤其是語音翻譯領域的重要里程碑。

三年后，微軟對外公開發布了Skype Translator，作為集成微軟的語音技術和翻譯技術的產品，目前已經可以為十種語言提供語音到語音的翻譯，如今的微軟在自然語言處理技術方面又有了新的進步。周明表示，首先在語音翻譯上全面采用了神經網絡機器翻譯，并拓展了新的翻譯功能，稱之為Microsoft Translator Live Feature(現場翻譯功能)，可以做到在演講和開會過程中實時自動在手機端或桌面端將演講者的話翻譯成多種語言。

我們了解到，為達成這種精準的現場翻譯功能的實現，最關鍵的技術就是對源語言的編碼，體現不同詞匯翻譯，不同作用的注意力模型。周明說：“我們又持續做了一些工作，引入了語言知識。因為編碼僅僅是把源語言和目標語言看成字符串，沒有體會內在詞匯之間的修飾關系。我們把句法知識引入神經網絡編碼、解碼中，就是傳統的長短時記憶LSTM，這是模型，從而得到了更佳的翻譯。”微軟研究院的相關研發人員介紹，這款新系統目前可以支持多人、多語言、跨平臺的實時翻譯，可以做到10種語音以及60多種文本的毫無壓力的轉換。

筆者試想一下，在通常情況下一個國際會議的現場，大多數觀眾確實會因為演講者與自身的語言不通就會不愿意參加，喪失機會;或者演講者在演講時為了照顧觀眾而使用非母語做演講，會使演講效果大打折扣。為了解決這樣的問題，微軟演講翻譯還確實是一個十分接地氣的產品，對于英語不好的筆者來講是個巨大的福音。

一路介紹而來，微軟的自然語言處理技術當真這么牛?人們肯定想知道具體的數字吧?現在人工閱讀的正確率做到了多少呢?答案是82%左右。如今的微軟亞洲研究院的結果排名世界***，在76%左右，與人類水平還差5分左右，這個確實很高了。據悉，為了推動機器閱讀的發展，微軟也推出了自己的一個新的測試題，叫做MARCO，其中貢獻了必應搜索很多的精華部分，因為這個數據集剛推出不久，提交的隊伍還不是那么多，微軟在測試題方面還是處于領先狀態的。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】