【51CTO.com原創稿件】2017年7月21-22日， 以“人工智能，不止于技術的革命”為主題的WOT2017全球創新技術峰會在北京富力萬麗酒店圓滿落幕。本次峰會為期兩天，30+人工智能領域的一線實戰專家、BAT等企業技術大牛圍繞機器學習、人機交互、技術實踐等前沿技術話題展開深度分享。除了場內的精彩演講，場外還有專門為AI愛好者搭建的動手實驗室和科技體驗區，這一切都讓本次大會亮點十足。

　　uSens凌感中國研發中心高級研究員王曉濤在人機交互分會場做了《VR/AR中的交互技術》主題演講。演講結束后，記者采訪到了他，請他分享關于手勢交互領域的精彩觀點。

　　人機交互往往與硬件變革相伴相生

　　談到VR和AR，大多數人的***印象就是那些虛擬可視化設備，例如Oculus rift、Htc vive、PSVR、Hololens等。體驗過的人都知道，這些設備的確給人們帶來了很奇幻的感覺,并且佩戴越來越輕便，分辨率越來越高，內容越來越豐富。可以說VR/AR設備已經日趨成熟，面向消費者并且開始普及。王曉濤指出，如今VR和AR發展外界看來似乎開始放緩，事實從業內看，從未停止，而且都是關鍵技術的推進。整個行業不僅僅依靠硬件設備，還需要很多其他的東西來支撐和完善。

　　王曉濤告訴記者，當人們回顧一下歷史就會發現，每次硬件產品重大變革都伴隨著革新的人機交互方案，并且趨勢都是向著更自然的方向發展。例如***臺臺式機Programma 鍵盤做輸入，紙帶做輸出;***款消費級PC Macintosh, 鼠標做輸入，GUI界面輸出;大家都熟悉的***款智能手機 iPhone, 多點觸控輸入IOS界面輸出。“可以看出，隨著硬件產品的換代，交互方式也越來越方便，好用，并且也容易學習，不在需要熟記各種命令。那么VR/AR想要成為新一代革命性的硬件產品，也需要全新的人機交互方式。”

　　那么在人機交互的發展史上，有哪些里程碑式的產品呢?王曉濤列舉了三款重要的產品。一是1965年的***臺臺式機(開創了商業機普及)，引入卡片為輸出，鍵盤輸入;二是1984年Macintosh(開創了PC消費品市場普及)，引入GUI輸出，鼠標輸入(繼LISA后第二部使用圖形用戶界面，***應用到個人電腦，systemSoftware，MacOS);三是2007年iPhone(開創了智能手機消費品普及),引入multi-touch和iOS系統。

　　前景看好的手勢交互

　　據了解，VR/AR目前的交互方式可以說五花八門，各個廠商都在做各種嘗試和探索。王曉濤介紹到，有基于手持設備的手柄、操作桿的廠商如Oculus、 htc vivi、 psvr，也有基于觸摸板的Gear vr，還有基于磁電傳感器手套的諾亦騰、基于眼球追蹤的、基于語音識別的，以及基于裸手手勢的各類廠商。他認為每一類方式都有自己的特點，都有適合的場景和適用的內容，尤其是有的適用于VR環境，有的適用于AR環境。

　　在VR環境中，由于場景都是虛擬出來的，所以各種手持設備、傳感器等并不影響使用的感官，人們雖然看不到手里拿著東西，但是可以習慣性的像使用鼠標一樣使用這些交互工具。所以，在VR環境中，基于設備的交互方式目前處于主導地位，一方面是無論是在精度還是在穩定性上基于物理元件的方式更優秀，實現起來也相對簡單;另一方面也是各大廠商同時推出交互設備與匹配的交互內容，即賣硬件又賣軟件，有利潤驅動。

　　他告訴記者，在VR交互中，另一種方式就是手勢交互，原因在于，即使在虛擬世界里，人們也要追求自然、便捷、靈活的方案，因為從PC到智能手機，人們已經幾乎丟掉了鼠標和鍵盤，在新一代產品里不應該再撿起附加設備。但客觀的講，自然手勢交互還處于技術攻關階段，還有很大多問題需要解決。但毋庸置疑，手勢交互更自然，對VR沉浸感來說，是至關重要的一個方面，在VR中更有帶入感，在大眾化市場中更有前景

　　不同于VR,在AR環境中，手是看得到的，并且AR中有手的真實使用需求，這導致AR環境的交互方式不能使用手柄之類的設備，更趨向于不影響手的真實功能的交互方案。那么可選的就只有手勢、眼球、語音、腦電肌電這些稍微黑一點的科技，這里面語音識別已經很成熟了，但是通過對話的方式來拖動某個東西是很違和的。那么來看，從技術成熟度，適用范圍來看，手勢交互更有優勢。Hololens選擇的就是手勢的方案，其他的方式可以作為輔助，使得AR的交互更立體、便捷。“可以看到，手勢交互在VR中有前途，在AR中有地位，隨著技術的成熟，將會得到越來越多的應用。”

　　精準識別手勢是個技術活!

　　手勢交互并不是簡單地識別幾種固定的手勢，也不是跟蹤五個指尖，而是要在看得到的情況下，能夠實時識別出當前手的狀態，例如手型是什么，角度如何，距離有多遠等等。

　　王曉濤透露，目前流行的是通過骨骼來模型化手，就包括關節點、骨骼的長度、骨骼間的角度。常用的量化模型有NYU的14個關節點模型、帝國理工的16關節點模型、MSRA21個關節點模型等等。不同方式表達量化的精度是不一樣的，通常用多少個自由度來刻畫手模型的精度，比如微軟的26個自由度。

　　“手勢交互關鍵技術基本包括，檢測、跟蹤、回歸、手模型優化一套整體的流程。”王曉濤舉例道，首先設備要能找到手的位置，識別出手的關節點，使得串聯起來的關節點像一只手;其次找到手之后，需要確定各個關節的位置。他介紹到，方法有基于點云匹配的，通過球模型或者球棍模型與檢測到的手的點云匹配;也有直接回歸坐標點的，每個點有兩維或者三維，按順序給出所有點的預測值。

　　他還特別強調關于手的結構約束。這個技術主要有兩類，一類是分段式的，先得到各個關節點，通過后處理的方式使得鉸接在一起的關節點得到的手不是畸形的;另一類是end-to-end的，將手的模型約束直接融入到關節點回歸中，或者直接回歸3D手的pose等。他強調，這一環節十分重要，起著很明顯的作用。

　　手勢交互正處在***的發展機遇

　　當然，王曉濤也坦言，到目前為止手勢交互目前還有很多問題亟待解決，例如需要提高識別的精度與穩定性，算法萬年不變的話題。他舉了一個例子，在VR/AR環境中，人們要做到實時，不能占用太多計算資源，有可能還是在移動端運行，并且算法是deep learning這種，算法的優化加速面臨極大的挑戰。

　　除此之外還需要解決視覺盲區問題、反饋問題等。以反饋問題為例，在AR/VR中手勢交互的反饋比較麻煩，人們沒有觸覺體驗，目前有通過設備提供觸碰感的，還有多元反饋機制，例如通過聲音等元素來營造氣氛。也正因如此，手勢交互還有很長的路要走。

　　王曉濤告訴記者，手勢識別已經發展了這么多年，但是之前一直沒有普及開，以至于很多人開始懷疑這個***的真偽性，這是為什么呢?因為以往的需求是假想出來的，例如希望用手勢代替鼠標，代替遙控器，但是終究是可用可不用，并且有可能還不好用。一方面之前由于技術和計算能力的問題，手勢性能比鼠標遙控器差，另一方面還是應用場景需求度低，體現不出來手勢的優勢。

　　“但VR和AR，對手勢來說，恰恰是一個好的時機，首先像我們前面說的手勢是AR/VR交互中優先級很高的交互方案，另外現在移動設備的計算能力也變強了，可以說，與VR/AR結合，是手勢發展***的機會。”王曉濤十分肯定這一點。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】