想象一下當你躺在沙發上，只需要不假思索地說出指令，機器人就能幫你干活，是不是聽起來就十分愜意？

如今這種科幻電影中的場景正在變為現實，來自北京大學的助理教授、博士生導師董豪團隊近日提出首個通用指令導航大模型系統InstructNav。

不論是尋找物體，走到指定位置，還是滿足抽象的人類需求，只要你說出指令，InstructNav都能幫你實現。

目前該工作已經被CoRL （Conference on Robot Learning）2024會議錄用，文章可在Arxiv瀏覽，代碼也即將在近期開源。

大模型如何統一具身指令導航規劃？

不同的導航任務要求截然不同的能力，經典的物體導目標航任務需要理解房間結構和物體之間的聯系，視覺語言導航任務側重于嚴謹地遵循指令，而新興的需求驅動的導航任務要求根據人類抽象需求進行語義推理。

先前研究工作都圍繞某一種特定類型的指令設計一個特定類型的導航方法，然而在真實應用中，人類可能向機器人下達不同形式的指令，甚至混合類型指令，現有的具身導航模型都無法滿足這樣的實際需求，因此實現通用指令導航對于機器人在現實世界的應用充滿價值。

為了實現這一目標，作者首先提出動態導航鏈路（Dynamic Chain-of-Navigation）這一全新的導航規劃范式，將不同類型的導航指令統一為“導航動作 1 - 標志物1 -> 導航動作 2 - 標志物 2 … ”的標準形式。

InstructNav利用大語言模型在任務規劃和常識推理上的卓越能力，根據原始指令規劃導航鏈路。

在導航過程中，InstructNav會根據最新觀測到的場景物體不斷更新導航鏈路，引導機器人對于環境進行有效探索。

例如，當指令要求“尋找沙發”時，動態導航鏈路會被更新為“探索 - 電視”附近區域，因為電視旁邊最可能存在沙發。

構建大模型推理到價值地圖的映射

以上由大模型規劃的動態導航鏈路和控制機器人底層動作之間仍然存在較大差異。

為了引導機器人根據動態導航鏈路行動，作者提出將大模型的規劃結果映射到多源價值地圖（Multi-sourced Value Maps）上，這些價值地圖包括：

1. 動作價值地圖（Action Value Map）：賦予待執行動作對應的區域更高可導航價值。
2. 語義價值地圖（Semantic Value Map）：賦予標志物對應的區域更高可導航價值。
3. 直覺價值地圖（Intuition Value Map）：利用多模態大模型判斷全景圖中最適合移動的區域，并賦予更高可導航價值。
4. 軌跡價值地圖（Trajectory Value Map）：賦予遠離現有軌跡的區域更高的可導航價值。

通過對多源價值地圖相加求和即可得到決策價值地圖（Decision-making Value Map）。

在決策價值地圖上選取最高價值點作為下一途徑點，然后利用點到點的路徑規劃算法即可實現對于機器人底層移動的控制。

多個零樣本導航任務新SOTA

作者在經典的物體目標導航任務，視覺語言導航任務以及最新的需求導航任務上開展標準化評測。

從以下表格中可以觀察到，InstructNav首次實現連續環境下零樣本的視覺語言導航，并在零樣本的物體目標導航和需求驅動導航任務上全面超越所有的現有方法，獲得最高成功率。

文章鏈接：https://arxiv.org/pdf/2406.04882
項目鏈接：https://sites.google.com/view/instructnav
代碼鏈接：https://github.com/LYX0501/InstructNav