AI再一次擊敗人類世界冠軍，登上Nature封面。

與上一次AlphaGo下圍棋不同，這次不是腦力運動，而是在真實物理環境中的競技體育項目——“空中F1”無人機競速。

與AlphaGo也有相同之處，核心技術都是深度強化學習。

成果來自蘇黎世大學，作者之一Davide Scaramuzza認為，這是國際象棋的深藍、圍棋的AlphaGo之后的又一大突破。

這標志著自主移動機器人首次在為人類設計并由人類設計的物理環境體育運動中擊敗人類冠軍。

微軟高級研究工程師Shital Shah認為這比AlphaGo更難，也更難獲得認可，但仍是歷史性的里程碑。

深度強化學習，又一次勝利

先介紹一下這個運動項目：FPV（第一人稱視角）無人機競速。

人類選手會通過機載攝像頭傳輸的視頻，從無人機的視角觀察環境，穿越障礙。

賽道由七個方形大門組成，每一圈都必須按順序通過。要贏得比賽，參賽者必須連續領先對手完成三圈。

兩臺無人機同時出發，正面對決，最高速度可達每小時100公里，同時承受數倍于重力的加速度。

這次與AI同臺的是2019年無人機競速聯盟世界冠軍Alex Vanover、MultiGP國際公開賽世界杯冠軍Thomas Bitmatta和三屆瑞士全國冠軍Marvin Schaepper。

對AI來說，要達到專業人類選手的水平非常有挑戰性，因為無人機需要在物理極限下飛行，同時僅通過機載傳感器估計速度和位置。

為解決這些挑戰，蘇黎世大學設計了Swift，由兩個關鍵模塊組成：

• 感知系統，將高維視覺信息和慣性信息轉換為低維表示。
• 控制策略，感知系統產生的低維表示并產生控制命令。

其中，感知系統主要是一個VIO（Visual-Inertial Odometry）模塊，同時利用視覺和慣性傳感器對自身定位和對環境建模。

VIO估計與神經網絡相結合，用于檢測障礙門的四個角點。

控制策略是一個前饋神經網絡，使用無模型的On-policy深度強化學習進行模擬訓練，獎勵目標結合了向下一個門的中心前進，和保持下一個門在攝像機視野內。

為了彌合模擬和物理世界之間感知和動力學上的差距，使用了從物理系統中收集的數據，驅動一個MLP殘差模型。

在比賽開始前，人類選手在指定賽道上有一周的練習時間，賽道包含“Split-S”等高難度機動動作。

具體規則還有：由聲學信號(發令槍）開啟比賽，如果發生碰撞也可以繼續比賽，如果兩架無人機都墜落則飛得遠的獲勝。

最終在與三位人類選手的比賽中，Swift分別拿下了9局5勝，7局4勝，和9局6勝的成績。

在Swift輸掉的比賽中，有40%是因為與對手發生碰撞，40%是因為與門發生碰撞，20%是因為速度比人類慢。

Swift還在比賽中取得最快記錄，人類選手的最佳時間領先半秒。

在累計300圈的數據中，Swift平均時間更短，方差更低，代表AI每圈都穩定追求更快圈速。

而人類則會在自己領先時保持一個較慢的速度，降低碰撞的風險，表現出更大的方差。

這也體現出當前的Swift系統無法得知對手的情況，在領先時不夠穩，落后時又不夠浪。

AI與人類選手，哪里不同？

在論文中，團隊還討論了AI與人類選手的更多對比。

首先，Swift利用了機載慣性傳感器，這類似于人類的前庭系統。

但反而是人類在這個項目上無法使用前庭系統，因為他們不隨無人機一起移動，感受不到加速度。

另外，Swift的傳感器延遲更低為40毫秒，專業人類選手平均能做到220毫秒。

但Swift的攝像頭刷新率有限，只有30Hz，人類使用的攝像頭則120Hz。

最后，人類有更高的韌性。

比如即使在全速墜機了只要設備沒壞就能繼續比賽，但Swift沒有接受碰撞后恢復的訓練。

如果改變比賽現場的光照環境，Swift的感知系統就會失效。

作者認為，這項研究可能會激發在其他物理系統（例如自動駕駛汽車、飛機和機器人）中跨廣泛應用部署基于混合學習的解決方案。

論文地址：https://www.nature.com/articles/s41586-023-06419-4。

參考鏈接：[1]https://x.com/davsca1/status/1696938013421429111。