大模型在機器人領域找到了用武之地。

「我把飲料撒了，你能幫我一下嗎？」這是我們日常生活中再正常不過的一句求助語。聽到這句話，你的家人或朋友往往會不假思索地遞給你一塊抹布、幾張紙巾或直接幫你清理掉。

但如果換成機器人，事情就沒有那么簡單了。它需要理解「飲料撒了」、「幫我一下」是什么意思，以及到底要怎么幫。這對于平時只能聽懂簡單指令（如移動到 (x,y)，抓取可樂瓶）的機器人來說確實有些困難。

為了讓機器人聽懂，你可以把上面那句話分解成幾個簡單的指令，但這一過程的繁瑣可能會讓你放棄使用機器人。為了消除這種尷尬，我們需要給機器人安裝一個聰明的大腦。

深度學習領域的研究表明，擁有優秀語言理解能力的大型語言模型（如 GPT-3, PaLM 等）有望充當這個大腦。對于同樣一句話（我把飲料撒了，你能幫我一下嗎？），大模型們給出的回應可能是：「可以試試用吸塵器」或「你想讓我去找個清理工具嗎？」

可以看出，大型語言模型可以理解稍微復雜一些的高級指令，不過它們給出的回答并不總是可行的（比如機器人可能沒辦法拿取吸塵器或屋子里沒有吸塵器）。要想將二者更好地結合，大模型還需要了解機器人的技能范圍以及周圍的環境限制。

谷歌的「Robotics at Google」最近就瞄準了這一方向，并提出了一個名為「Saycan」（DO AS I CAN, NOT AS I SAY）的算法。在這個算法中，他們讓機器人充當語言模型的「手和眼睛」，而語言模型提供有關任務的高級語義知識。

在這種合作模式下，機器人甚至能夠完成一個包含 16 個步驟的長任務：

那么，這是怎么做到的呢？研究團隊在項目網站上介紹了他們的方法。

項目網站：https://say-can.github.io/

論文地址：https://arxiv.org/abs/2204.01691

方法概覽

研究者將大型語言模型（LLM）與機器人的物理任務組合到一起時用到了這樣一個原則：除了讓 LLM 簡單地解釋一條指令之外，我們還可以用它來評估單個動作對完成整個高級指令有幫助的概率。簡單來說，每個動作可以有一個語言描述，我們可以通過 prompt 語言模型讓它給這些動作打分。此外，如果每個動作都有一個相應的 affordance 函數，可以量化它從當前狀態（比如學到的價值函數）獲得成功的可能性。兩個概率值的乘積就是機器人能成功地完成一個對于指令有幫助的動作的概率。根據這個概率將一系列動作排序，選取概率最高的一個。

選擇了某個動作之后，我們就可以讓機器人去執行這個動作，這個過程通過迭代式地選擇一個任務并將其添加到指令上來進行。實際上，這里將規劃結構化為用戶和機器人之間的對話：用戶提供高級指令，比如「你如何給我一個可樂罐？」然后語言模型會以一個明確的順序來回應，比如「我會：1、找到一個可樂罐；2、把可樂罐撿起來；3、把它拿給你；4、完成。」

總之，給定一個高層次的指令，SayCan 將來自語言模型的概率（某個動作對高級指令有用的概率）與來自值函數的概率（成功執行上述動作的概率）結合起來，然后選擇要執行的動作。這種方法選出來的動作是可行的、有用的。研究者通過將選擇的動作附加到機器人響應中并再次查詢模型來重復這個過程，直到輸出步驟終止。

實驗數據

研究者在兩個場景中對提出的算法 Saycan 進行了測試，一個是辦公室廚房，另一個是模擬辦公室廚房，其中 101 個任務由自然語言指令指定。下面將展示一些結果的亮點。

從下圖中，我們可以直觀地看到 SayCan 的決策過程。藍色條表示（歸一化）LLM 概率，紅色條表示（歸一化）成功執行選定動作的概率。綜合得分為綠色條，算法會選擇綜合得分最高的動作。這種可視化突出了 SayCan 的可解釋性。

比如任務是「我把可樂弄灑了，你能給我拿點東西來清理嗎?」，SayCan 成功地計劃和執行了以下步驟：1、找一塊海綿；2、拿起海綿；3、把它拿給你；4、完成。如下所示:

如果把任務稍微調整為「我把可樂弄灑了，你能給我換一瓶嗎?」，SayCan 會用這些步驟來執行：1、找到一瓶可樂；2、把可樂拿起來；3、把它拿給你；4、完成。這表明 SayCan 能夠利用 LLM 的大容量，它們關于世界的語義知識對于解釋指令和理解如何執行指令都是有用的。

在下一個例子中，SayCan 利用了 affordance 的能力來「推翻」語言模型做出的選擇。盡管語言模型認為拿取海綿是正確的動作，但 affordance 意識到這是不可能的，因此選擇了「尋找海綿」。這突出了 affordance grounding 的必要性。

作者將 SayCan 應用到一個很復雜的指令上 “我把可樂撒在了桌上，你能把它扔掉并且拿東西來擦一下嗎”，這個指令需要 8 個動作，機器人成功規劃并完成了這個任務。在實驗中，最長的任務長達 16 個步驟。

總結來說，該方法實現 101 個任務的總計劃成功率為 70% ，執行成功率為 61% ，如果去掉 affordance grouding，大致會損失一半的性能。

更多細節可參考原論文。本文共有 43 個作者，共同通訊作者為 Karol Hausman、Brian Ichter 和華人學者夏斐。