你是否曾想過，自己身處某地，可以控制幾千公里以外的「機器人」本體？

這個想法，最近被來自UCSD和MIT的華人學者們實現了。

UCSD位于加利福尼亞州，MIT位于馬薩諸塞州，這兩地之差，約3000英里（4800公里）。

不過，MIT的研究人員竟通過頭戴Apple Vision，實現了遠程操控UCSD實驗室中的機器人，效果讓人為之驚嘆。

只見人類空手做出了手持易拉罐的動作，機器人在另一邊也做出了同步的動作，然后依次將6罐芬達放置在了盒子里。

完成之后，人類做了OK、以及??手勢，機器人也跟著有模有樣，做了出來。

這一想法之所以能夠實現，背后源于研究者提出了一個沉浸式的遠程操作系統——Open-TeleVision。

論文地址：https://robot-tv.github.io/resources/television.pdf

Open-TeleVision創新之處在于，可以提供立體式感知環境，實現操作者動作到機器人的精確鏡像，創造出一種沉浸式體驗。

正如論文作者所言，仿佛操作者的思維被傳輸到了機器人的身體中。

值得一提的是，你不僅可以用頭顯，還可以用筆記本、iPad、甚至是手機，完成對機器人的遠程操控。

那么，這項研究意義何在？

現實生活中，機器人能夠學習的數據非常少。遠程操控的方法，可以用于收集機器人行示范中學些所需的真實機器人數據。

研究人員正式希望通過Open-TeleVision這一方式，進一步幫助這一領域探索出更多的場景數據。

遠程操控，讓機器人替人類打工

可以暢想下，有了這樣的技術，我們未來生活會有怎樣的巨變？

在實驗室悶頭苦干的人不一定非得是自己，你可以在家即可操控機器人，取樣本、分析都能完成。

而且流水線上的工人們，可能要被這些機器人逐漸取代。看著將耳塞精準熟練地裝進透明的盒子，足見其強大。

它們還可以勝任收銀員的工作，一手拿著掃碼器，一手拿著商品，逐一完成掃碼任務。

建筑工地中，一些危險的活兒，也能交由它們做。拿著電鋸在指定位置打孔，不得不說真的強。

你還可以讓機器人作為你的化身，陪你做游戲。

友好互動，機器人做的也是毫無違和感。

下面這是一個超有愛的畫面，只見機器人將Hellokitty掛件遞給女生后，還做出了比心的動作。

再來看看更多，跨越更遠區域的演示。

研究人員做裝網球的動作，機器人將現實中物體裝進桶中。

下面這個比較有意思，MIT研究人員控制一臺機器人，向與另一臺機器人傳遞鏡子。

以上皆是遠程操控完成任務的案例，不過研究者開發的系統，也能夠讓機器人本體，自主去完成一些精準的任務。

比如，分類不同易拉罐飲料。

疊毛巾等等。

看過這么多精彩演示，你一定想了解其背后的技術原理，不如一起來看看。

技術介紹

正如開頭所述，研究人員開發了一種通用框架Open-TeleVision，可以應用到不同機器人、機械手臂上，用VR設備完成高精度遠程操控。

通過捕捉人類操作者的手部姿勢，作者執行重定向操作，來控制多指機器人手或平行夾持器。

另外，研究者依靠逆運動學將操作者的手根位置，轉換為機器人手臂末端執行器的位置。

整體的系統概述如下圖2所示。

研究人員基于Vuer開發了一個網絡服務器。VR設備將操作者的手、頭和手腕的姿態以SE(3)的形式流式傳輸到服務器，服務器負責處理人類到機器人的動作重定向。

圖3展示了機器人的頭部、手臂和手如何跟隨人類操作者的動作。

反過來，機器人以每只眼睛480x640的分辨率流式傳輸立體視頻，整個循環以60Hz的頻率進行。

硬件配置

具體來說，研究人員對兩種機器人進行了實驗，如下圖4所示。

它們分別是人形機器人Unitree H1，以及配備夾持器的Fourier GR-1，來執行雙手操作的任務。

對于主動感知，研究人員專為H1設計了一個具有兩個旋轉自由度（偏航和俯仰）的云臺，安裝在軀干頂部。

這個云臺由3D打印部件組裝而成，由DYNAMIXEL XL330-M288-T電機驅動。

對于GR-1，他們使用了廠商提供的3自由度頸部（偏航、滾動和俯仰）。

兩種機器人都使用ZED Mini立體相機提供立體RGB視頻流。

具體材料費用細節，下表列出了一些要點。

有了所具備的硬件，就要開啟實驗了。

實驗結果

論文中，研究人員主要研究了兩個問題：

- Open-TeleVision系統的關鍵設計選擇如何影響模仿學習結果的表現？

- Open-TeleVision遠程操作系統在收集數據方面的效率如何？

這里，研究人員選擇ACT作為模仿學習的算法，并進行了兩項關鍵修改。

一是，用更強大的視覺骨干網絡DinoV2替換了ResNet。DinoV2是一個通過自監督學習預訓練的視覺Transformer（ViT）。

二是，使用兩個立體圖像作為Transformer編碼器的輸入，而不是使4個獨立排列的RGB相機的圖像。

DinoV2骨干網絡為每張圖像生成16 × 22個token。狀態token是從機器人當前的關節位置投影而來的。

對于H1機器人，動作維度是28（每個手臂7個，每只手6個，主動頸部2個）。對于GR-1機器人，動作維度是19（每個手臂7個，每個夾持器1個，主動頸部3個）。

具體實驗中，作者選擇了四個強調精確性、泛化能力，以及長期規劃的任務，以展示Open-TeleVision的有效性，如下圖5所示。

模仿學習

在易拉罐分類任務中，分別評估了拾取罐子的成功率和將其放置到指定位置的準確性。根據表1中H1的結果，Open-TeleVision在這兩項評估指標上都具有最高的成功率。

在拾取子任務中，新模型始終優于其他兩個基準模型。

在毛巾折疊任務中，研究者的模型和使用ResNet18的模型都達到了100%的折疊成功率。

泛化能力

此外，研究人員在隨機化條件下評估了模型的泛化能力。

在使用H1進行的罐子分類任務中，評估了模型從一個4x4網格（每個網格單元為3厘米）中拾取罐子的成功率，如圖6（左）所示。

詳細結果在圖6（右）中展示，這表明新策略能很好地泛化到數據集中覆蓋的大面積區域，實現100%的成功率。

與此同時，TeleVision系統在相同批量大小下訓練速度提高了2倍，并且在4090 GPU上可以在一個批中容納4倍的數據。

在推理過程中，TeleVision系統也快了2倍，為逆運動學（IK）和重定向計算留出了足夠的時間，以達到60Hz的部署控制頻率。

針對用戶研究，可以看出不同用戶對機器人在任務分類中的偏好。

在圖8中，展示了Open-TeleVision能夠執行的更多遠程操作任務，比如木板轉孔、耳塞包裝任務，液體試管。

如圖9所示，Open-TeleVision系統還實現了遠程操作。

總而言之，這項研究中提出了一個沉浸式遠程操作系統Open-TeleVision，實現了精確的任務操作。

不過，作者也指出，系統仍缺乏其他形式的反饋，比如觸覺。

而且在第一人稱視覺被遮擋和需要大量觸覺任務中，觸覺反饋通常是主要的反饋形式。

一個能夠重新標記專家數據的系統，對提高成功率可能非常有幫助，這也是當前系統所缺失的。