把大象裝冰箱總共要幾步？英偉達發布ProgPrompt，讓語言模型給機器人安排計劃
對于機器人來說，任務規劃（Task Planning）是一個繞不過去的難題。
想要完成一個真實世界的任務，首先你得知道把大象裝冰箱總共要幾步。
即便是比較簡單的扔蘋果任務也包含多個子步驟，機器人得先觀察蘋果的位置，如果沒有看到蘋果就要持續尋找，然后靠近蘋果，把蘋果抓起來，找到并靠近垃圾桶。
如果垃圾桶是關著的，還得先把它打開，然后再把蘋果扔進去，關上垃圾桶。
但每個任務的具體實施細節不可能都由人來設計，如何通過一句命令來生成動作序列就成了難題。
用命令生成序列？這不正是語言模型的工作么？
過去有研究人員使用大型語言模型（LLMs）根據輸入的任務指令對潛在的下一步行動空間進行評分，然后生成行動序列。指令由自然語言進行描述，不包含額外的領域信息。
但這類方法要么需要列舉所有可能的下一步行動進行評分，要么生成的文本在形式上沒有任何限制，其中可能包含在當前環境下特定機器人不可能采取的行動。
最近南加州大學和英偉達聯合推出了一個新模型ProgPrompt，同樣使用語言模型對輸入指令進行任務規劃，其中包含了一個程序化的提示結構，使得生成的計劃在不同的環境、具有不同能力的機器人、不同的任務中都能發揮作用。
在保證任務的規范性上，研究人員采用生成python風格代碼的形式來提示語言模型哪些動作是可用的、環境中有哪些物體以及哪些程序是可執行的。
比如輸入「扔蘋果」命令就可以生成如下程序。
ProgPrompt模型在虛擬家庭任務中達到了sota性能，研究人員還將該模型部署在一個用于桌面任務的物理機器人手臂上。
妙用語言模型
想要完成日常家庭任務（everyday household tasks）既需要對世界具有常識性理解，也需要當前環境的情景知識。
為了創建一個「做晚飯」的任務計劃，智能體最起碼需要知道的常識包括：物體的功能，如爐子和微波爐可以用來加熱；行動的邏輯順序，在添加食物之前必須先預熱烤箱；以及物體和行動的任務相關性，例如加熱和尋找食材首先是與「晚飯」相關的行動。
但如果沒有狀態反饋（state feedback），這種推理就無法進行。
智能體需要知道當前環境中哪里有食物，例如冰箱里是否有魚，或者冰箱里是否有雞肉。
在大型語料庫上訓練的自回歸大型語言模型可以在輸入提示的條件下生成文本序列，具有顯著的多任務泛化能力。
比如輸入「做晚飯」，語言模型可以生成后續序列，如打開冰箱、拿起雞肉、拿起蘇打水、關閉冰箱、打開電燈開關等。
生成的文本序列需要映射到智能體的行動空間中，比如生成的指令是「伸手拿起一罐泡菜」，對應的可執行動作可能就是「拿起罐子」，然后模型會計算出一個行動的概率評分值。
但缺少環境反饋的情況下，如果冰箱里沒有雞肉，卻仍然選擇「拿起雞肉」行動，就會導致任務失敗，因為「做晚飯」并沒有包含任何關于世界狀態的信息。
ProgPrompt模型在任務規劃中巧妙地利用了編程語言結構，因為現有的大規模語言模型通常都在編程教程和代碼文檔的語料中進行過預訓練。
ProgPrompt為語言模型提供了一個Pythonic的程序頭部作為提示，導入了可用的動作空間、預期參數和環境中可用的物體。
然后定義了諸如make_dinner, throw_away_banana等函數，其主體是對物體進行操作的動作序列，然后通過斷言計劃的先決條件，例如在試圖打開冰箱之前靠近冰箱，以及用恢復行動來應對斷言失敗的情況，以此納入環境的狀態反饋。
最重要的是，ProgPrompt程序中還包括了自然語言編寫的注釋，用以解釋行動的目標，從而提高了生成的計劃程序執行任務的成功率。
ProgPrompt
有了完整的想法，ProgPrompt的整體工作流程就清晰了，主要包括三部分，Pythonic函數構建、構造編程語言提示、任務計劃的生成和執行。
1、將機器人計劃表述為Pythonic函數
計劃函數包括對動作原語（action primitive）的API調用，總結動作并添加注釋，以及跟蹤執行的斷言。
每個動作原語需要一個物體作為參數，比如「把三文魚放進微波爐」任務中，包括對find(salmon)的調用，其中find就是一個動作原語。
利用代碼中的注釋來為后續的動作序列提供自然語言的總結，注釋有助于將高層次的任務分解成合乎邏輯的子任務，即「抓取三文魚」和「把三文魚放進微波爐」。
注釋也可以讓語言模型了解當前的目標，減少不連貫、不一致或重復輸出的可能性，類似于思維鏈（chain of thought）生成中間結果。
斷言（assertions）提供了一個環境反饋機制，以確保前提條件成立，并在不成立時實現錯誤恢復，比如在抓取行動之前，計劃斷言智能體已經接近了三文魚，否則智能體需要先執行find行動。
2、構造編程語言prompt
prompt需要向語言模型提供關于環境和主要行動的信息，包括觀察、行動原語、例子，并生成了一個Pythonic提示，供語言模型補全。
然后，語言模型將<next task>預測為一個可執行的函數，即microwave_salmon()
在微波爐三文魚這個任務中，LLM可以生成的且合理的第一步是取出三文魚，但負責執行計劃的智能體可能沒有這樣一個動作原語。
為了讓語言模型了解智能體的動作原語，將其在prompt中通過import語句導入，也就將輸出限制為在當前環境下可用的函數上。
要改變智能體的行為空間，只需要更新import的函數列表即可。
變量objects以一個字符串列表的形式提供了環境中的所有可用物體。
prompt還包括一些完全可執行的程序計劃作為示例，每個示例任務都演示了如何使用給定環境中的可用動作和目標來完成一個給定的任務，如throw_away_lime
3、任務計劃的生成和執行
給定任務之后，計劃完全是由語言模型根據ProgPrompt提示推斷出來的，然后可以將生成的計劃在虛擬智能體或物理機器人系統上執行，需要用到一個解釋器，針對環境執行每個行動命令。
在執行過程中，斷言檢查以閉環的方式進行，并根據當前環境狀態提供反饋。
在實驗部分，研究人員在虛擬家庭(VH)仿真平臺評估了該方法。
VH的狀態包括一組物體和相應的屬性，比如三文魚在微波爐內部（in），或者靠近（agent_close_to）等。
行動空間包括抓取（grab）、放入（putin）、放回（putback）、行走（walk），尋找（find）、打開（open）、關閉（close）等。
最終實驗了3個VH環境，每個環境包括115種不同的物體，研究人員創建了一個包含70個家務任務的數據集，抽象程度很高，命令都是「微波三文魚」這類的，并為之創建一個ground-truth的行動序列。
在虛擬家庭上對生成的程序進行評估后，評估指標包括成功率（SR），目標條件召回（GCR）和可執行性（Exec），從結果上可以看到ProgPrompt明顯優于基線和LangPrompt，表格中還展示了每個特征是如何提升性能的。
研究人員同樣在真實世界進行了實驗，使用一個帶有平行爪子的Franka-Emika熊貓機器人，并假設可以獲得一個拾取和放置（pick-and-place）的策略。
該策略將目標物體和目標容器的兩個點云作為輸入，并執行拾取和放置操作，將物體放在容器上或里面。
系統實現引入一個開放詞匯的物體檢測模型ViLD來識別和分割場景中的物體，并構建prompt中的可用物體列表。
與在虛擬環境中不同的是，這里物體列表是每個計劃函數的局部變量，這樣可以更靈活地適應新對象。
語言模型輸出的計劃中包含形式為grab和putin等函數調用。
由于現實世界的不確定性，實驗設置中沒有實施基于斷言的閉環選項。
可以看到，機器人在分類任務中，能夠識別出香蕉和草莓是水果，并生成計劃步驟，將它們放在盤子里，而將瓶子放在盒子里。
