?

?摘要：大規模語言模型（LLMs）已經展示了顯著的零樣本泛化能力：最先進的聊天機器人可以為日常生活中的許多常見問題提供合理的答案。然而，迄今為止，LLMs 還不能可靠地解決長期的機器人規劃問題。相比之下，經典的規劃器一旦以規范化的方式給出問題，可以使用高效的搜索算法快速找到正確的，甚至是最優的方案。為了結合兩者的優勢，本文引入了 LLM+P，這是第一個將經典規劃器的優勢整合到 LLMs 中的框架。LLM+P 接收規劃問題的自然語言描述，然后返回用自然語言表達的正確（或最優）解決方案。LLM+P 首先將語言描述轉換為規劃域定義語言（PDDL）文件，然后利用經典的規劃器快速找到解決方案，并將找到的解決方案翻譯回自然語言。本文還定義了一組來自機器人規劃場景的多樣化基準問題。通過對這些基準問題的一組全面實驗，我們發現 LLM+P 能夠為大多數問題提供最優解決方案，而 LLMs 在大多數問題上甚至無法提供可行的方案。我們還展示了 LLM+P 使家用機器人能夠解決由用戶用自然語言指定的復雜操作任務。

I. 引言

自人工智能領域誕生以來，研究人員一直致力于創建能夠像人類一樣自然流暢地進行對話的程序。雖然即使是像1966年推出的Eliza這樣相對簡單的模型，也能對某些提示生成看似合理的回應，但相對于人類，這些模型的弱點也很容易暴露——它們缺乏真正的“理解”。

盡管大規模語言模型（LLMs）如GPT-4和ChatGPT遠遠超出了幾年前的預期，但在這方面它們并沒有太大不同。實際上，現在互聯網上充斥著人們讓ChatGPT生成連5歲兒童都知道不合適的內容的例子。

鑒于LLMs的設計和訓練方式，這種現象并不令人驚訝。它們并非專門為展示理解力而構建，而是被訓練成生成在人類先前上下文中可能合理的單詞序列。正如Mahowald等人所言【4】，LLMs在語言能力（即知道如何表達）方面表現出了驚人的熟練度，但在功能性能力（即知道說什么）方面則差得多。具體來說，它們很容易被愚弄，例如，當被問到一個簡單的算術問題時，如果該問題不在它們的訓練語料中，或被要求解決一個需要世界運作知識的全新規劃問題時，它們可能無法提供正確的答案。

（注釋：GPT-4在規劃問題上的一個失敗示例：

問題（P1）：你有5塊積木。不能將多于一塊積木放在另一塊積木上。b5在b3上，b4在b2上，b2在b1上，b3在b4上，b1在桌子上，b5是清空的，你的手臂是空的。你的目標是移動這些積木。b1應該在b2上，b3應該在b5上，b4應該在b1上。

GPT-4的回答：

1. 將b5從b3上移到桌子上。

2. 將b3從b4上移到b5上。

3. 將b4從b2上移到桌子上。

4. 將b2從b1上移到b5上。

5. 將b1從桌子上移到b2上。

6. 將b4從桌子上移到b1上。）

難道我們應該努力將所有的算術和規劃問題都包含在訓練語料中嗎？顯然，這是徒勞的。另一方面，為什么需要這樣做呢？我們已經有了可以保證給出正確答案的計算器和通用符號規劃器。因此，一種自然的替代方法，也是我們并不是第一個探索的方法，是將LLMs與這些工具相結合。

基于此動機，本研究的目標是首次使LLMs能夠正確地解決規劃問題。我們旨在做到這一點，而無需對LLMs本身進行任何修改，甚至無需進行微調【5】【6】。相反，我們引入了一種名為LLM+P的方法，當提出一個自然語言描述的規劃問題時，LLM將：

1. 輸出一個適合作為通用規劃器輸入的問題描述；

2. 使用通用規劃器解決該問題；

3. 將規劃器的輸出轉換回自然語言（或連接到機器人執行器）。

我們的大量實驗證明，LLM+P能夠為比單獨使用LLM更多的規劃問題生成正確的解決方案。雖然本文中展示了在規劃問題上的應用，但這種通用方法可以應用于任何我們有健全和完整求解器的類問題，例如算術問題（通過使用計算器）。

II. 背景

本節介紹了我們用于表示由大規模語言模型（LLMs）解決的規劃問題的符號，并回顧了經典規劃器的標準表示方法。

A. 經典規劃問題

形式上，規劃問題 P  的輸入由一個四元組 < S, s_{init}, S_G, A, f > 定義：

- S 是用于描述世界狀態的有限且離散的狀態集合（即狀態空間）。我們假設狀態空間是分解的，使得每個狀態 s ∈ S  由一組固定變量的值定義。

- s_{init}  是初始世界狀態。

- S_G 是目標狀態的集合。 S_G  通常被指定為一組目標條件，這些條件在目標狀態中必須全部滿足。

- A 是符號動作的集合。

- f 是底層狀態轉移函數。函數 f  以當前狀態和一個動作作為輸入，并輸出相應的下一個狀態。

規劃問題 P  的解是一個符號規劃  pi ，其形式為 < a_1, a_2,..., a_N >，使得動作  a_1  的前置條件在初始狀態  s_{init}  中滿足，動作  a_2  的前置條件在執行  a_1  后的狀態中滿足，以此類推，直到所有目標條件在執行完  a_N  后的狀態中全部滿足。

B. 規劃域定義語言（PDDL）

規劃域定義語言（PDDL）是一種經典規劃問題的標準化編碼語言【7】【8】。規劃問題的 PDDL 表示被分為兩個文件：域文件和問題文件。域 PDDL 文件提供了世界底層規則的升華表示。它包括一組用于定義狀態空間 S  和動作集合  A  的謂詞，以及它們的前置條件和效果（即狀態轉移函數  f ）。問題 PDDL 文件提供了一組對象來具體化域，問題的初始狀態  s_{init}  和目標條件  S_G 。存在豐富的符號規劃器集成了高效的搜索算法來解決用 PDDL 形式化的規劃問題。在這項工作中，我們的目標是將自然語言提示（該提示描述了初始狀態  s_{init}  和目標條件  S_G ）轉化為 PDDL，并利用符號規劃器生成正確的規劃方案。我們假設域規則是已知的（參見第III節中的假設）。

III. 方法

本節首先使用一個運行中的例子來研究如何將規劃提示公式化為 PDDL，然后介紹 LLM+P 方法。

圖1：LLM+P 利用大規模語言模型（LLM）生成給定問題的 PDDL 描述，然后利用經典規劃器找到最優方案，并再次使用 LLM 將原始方案翻譯回自然語言。

（注釋：圖1分為上下兩個部分，分別展示了 LLM+P 方法的三個主要階段：問題轉換、規劃求解和方案翻譯。具體步驟如下：

1. 自然語言問題轉換為 PDDL 文件：

- 輸入問題：圖的左上部分展示了輸入問題，這通常是由用戶用自然語言描述的一個規劃問題。

- LLM 生成 PDDL 文件：LLM 被用來將這個自然語言描述轉換為規劃域定義語言（PDDL）格式。這一步類似于機器翻譯，將自然語言問題描述翻譯成經典規劃器能夠理解和處理的形式化問題描述。PDDL 文件包括定義狀態空間、動作和目標的詳細信息。

2. 經典規劃器求解問題：

- PDDL 規劃求解：圖的中間部分顯示了 PDDL 文件被輸入到經典規劃器中。經典規劃器使用其內置的高效搜索算法，基于 PDDL 文件的描述來生成一個解決方案（即一個規劃或動作序列）。

- 生成 PDDL 方案：規劃器會輸出一個 PDDL 方案，該方案描述了如何從初始狀態通過一系列動作達到目標狀態。這個方案通常是最優的，即在最少步驟內實現目標狀態。

3. 方案翻譯回自然語言：

- LLM 翻譯 PDDL 方案：圖的右側展示了如何再次利用 LLM，將經典規劃器生成的 PDDL 方案翻譯回自然語言。這個過程使得規劃結果更易于理解，用戶或機器人可以直接執行這些自然語言描述的步驟。

- 輸出方案：最后，系統輸出一個用自然語言描述的解決方案，供用戶或機器人參考和執行。

總結

圖1直觀地展示了 LLM+P 的整體工作流程，突出了一種有效的策略，即通過將 LLM 的自然語言處理能力與經典規劃器的搜索和優化能力結合起來，成功地解決復雜的規劃問題。這種方法特別適合需要長時間推理和規劃的場景，如機器人任務規劃。）

A. 大規模語言模型作為 PDDL 編寫器

LLMs 在規劃（或長時推理）方面表現不佳【9】，但它們擅長描述和翻譯文本輸入，包括將規劃提示重寫為 PDDL 格式。直覺上，我們可以將 PDDL 視為與英語不同的語言，因此將規劃提示重寫為 PDDL 實質上是一個“機器翻譯”任務，而 LLMs 在此類任務中表現優異。以下是 GPT-4 無需任何提示工程生成的 PDDL 問題文件示例。我們可以看到，生成的文件看起來具有正確的 PDDL 語法，但使用了一個虛構的謂詞（empty），并且遺漏了 b1 在桌子上的初始條件。

（GPT-4 生成的 PDDL 問題文件示例

提示：問題描述（P1） + 直接向我提供描述該規劃問題的 PDDL 文件，而無需進一步解釋。

GPT-4（生成的問題 PDDL 文件）：

```pddl

(:objects b1 b2 b3 b4 b5 - block)

(:init (on b5 b3) (on b4 b2) (on b2 b1) (on b3 b4) (clear b5) (empty))

(:goal (and (on b1 b2) (on b3 b5) (on b4 b1)))

```）

B. 上下文學習

LLMs 已知能夠在不微調其參數的情況下進行上下文學習。我們所說的上下文學習，是指 LLMs 通過簡單地基于一些輸入-標簽對（示例）進行條件推理，從而執行未見過的下游任務的能力【10】。以下是提供給 GPT-4 的一對自然語言和 PDDL 的問題描述作為上下文。當將上下文與上述提示一起包含時，生成的 PDDL 問題文件可以直接由規劃器解決。

（注釋：包含上下文的 GPT-4 生成的 PDDL 問題文件示例

上下文（陰影部分）：

一個示例規劃問題是：你有5塊積木。b2 在 b5 上，b5 在 b1 上，b1 在 b4 上，b3 在 b2 上，b4 在桌子上。b3 是清空的。你的手臂是空的。你的目標是移動這些積木。b4 應該在 b3 上。問題的 PDDL 是：

```pddl

(:objects b1 b2 b3 b4 b5)

(:init (arm-empty) (on b1 b4) (on b2 b5) (on b3 b2) (on-table b4) (on b5 b1) (clear b3))

(:goal (and (on b4 b3)))

```

提示：問題描述（P1） + 上下文 + 直接向我提供描述該規劃問題的 PDDL 文件，而無需進一步解釋。

GPT-4（生成的問題 PDDL 文件）：

```pddl

(:objects b1 b2 b3 b4 b5 )

(:init (arm-empty) (on-table b1) (on b2 b1) (on b3 b4) (on b4 b2) (on b5 b3) (clear b5))

(:goal (and (on b1 b2) (on b3 b5) (on b4 b1)))

```）

C. 大規模語言模型 + 經典規劃器（LLM+P）

在介紹了 LLM 編寫 PDDL 和上下文學習的能力后，我們準備介紹所提出的 LLM+P 解決方案（圖1底部）。特別地，我們假設對于每個問題域，人類專家可以提供一個域描述（即動作的前置條件和效果），這將對該域中發生的所有問題實例保持固定。雖然自動生成描述的問題是另一個有價值的研究問題，但在這項提議的工作中，我們假設描述是以 PDDL 域文件的形式提供的。LLM+P 方法可以直接作為自然語言接口，用于向機器人系統分配任務。例如，假設我們希望一個機器人充當調酒師來制作雞尾酒。合理的做法是告訴它可以采取哪些行動，但讓它自己推斷出如何在給定一組要組合的原料的情況下最有效地制作新的雞尾酒。此外，我們假設代理提供了一個最小示例，演示了該域中簡單問題的 PDDL 示例。接下來，代理提供了一個新的（可能非常復雜的）問題（P）。然后，LLM 使用上下文學習來推斷與 P 對應的問題 PDDL 文件。一旦生成了問題 PDDL 文件，我們將其與提供的域 PDDL 文件一起輸入任何經典規劃器，以生成 PDDL 計劃【11】。最后，LLM 將 PDDL 計劃翻譯回自然語言，以完成 LLM+P 管道。

總結一下，LLM+P 所需的假設是：

1. 機器人知道何時基于與人類用戶的對話觸發 LLM+P。

2. 提供了一個域 PDDL 文件，以定義機器人能夠執行的動作。這一規范與任務無關——與任務相關的實體在 LLM 生成的問題 PDDL 中指定。

3. 提供了一個用自然語言描述的簡單問題及其對應的問題 PDDL 文件。

IV. 相關工作

本節首先概述了經典規劃算法，然后總結了在規劃任務中使用大規模語言模型（LLMs）的最新進展。最后，討論了近期關于用外部模塊增強 LLMs 的研究。

A. 經典規劃

自動化規劃（或稱為經典規劃）技術可用于計算達成給定目標所需的一系列動作【12】【13】【14】。自動化規劃算法已廣泛應用于機器人系統中。Shakey 是第一個配備規劃組件的機器人，其規劃組件是使用 STRIPS 構建的【15】。一些之前的通用規劃架構也被證明對機器人規劃有用，如 PRODIGY【16】和 HTN【17】。近期為機器人設計的經典規劃系統常使用規劃域定義語言（PDDL）或應答集編程（ASP）作為規劃器的底層動作語言【18】【19】【20】【21】。例如，研究人員已將經典規劃算法用于為移動機器人安排遞送任務的動作序列【22】，推理自動駕駛車輛在城市行駛中的安全且高效的行為【23】，以及為移動機器人團隊規劃動作【24】。任務和運動規劃（TAMP）是一個層次化的規劃框架，將經典規劃與連續空間中的機器人運動規劃相結合【25】【26】。

B. 利用大規模語言模型進行規劃

近年來，開發了各種大規模語言模型（LLMs），例如 Bert【27】、CodeX【28】、Opt【29】、GPT-3【10】、ChatGPT【30】、GPT-4【2】、Llama【31】、Llama2【32】和 PaLM【33】。由于這些 LLMs 使用大量的離線文本數據進行預訓練，它們可以展現出驚人的零樣本泛化能力，這可以用于機器人規劃任務【34】【35】【36】【37】【38】【39】【40】【41】【42】【43】【44】【45】。例如，Huang 等人展示了 LLMs 可以用于家庭領域的任務規劃，通過迭代增強提示實現【38】。SayCan 是另一種方法，它使機器人規劃能夠通過權力函數考慮動作的可行性，其中服務請求用自然語言指定【34】。

C. 用外部模塊增強 LLMs

近期開發的方法顯示，通過將 LLMs 與外部模塊結合，可以提高下游任務的性能。例如，WebGPT【59】是通過結合網絡知識對 GPT-3 進行微調的版本，用于回答開放式問題。Lazaridou 等人研究了如何利用像 Google 這樣的搜索引擎作為 LLMs 的外部工具【60】。MemPrompt【61】提出了一個人在循環系統中，其中不斷增長的錯誤和用戶反饋記憶被作為過往經驗添加到提示中，以更準確地回答新問題。REPLUG【62】是另一種檢索增強的語言模型范式，將語言模型視為黑盒，并增加了一個可調的檢索模型。具體地，人們已經研究了使用計算器進行計算【63】【64】。在與我們相關的非常近期的工作中，Schick 等人訓練了一個名為 ToolFormer 的模型，該模型可以決定何時以及如何通過在提示中在線增強來調用某些工具 API【65】。在本文中，我們提議經典規劃器可以是另一個特別有用的外部模塊。與此相比，LLM+P 不依賴于任何微調或 LLMs 的重新訓練。通過簡單地整合來自經典規劃器的知識，LLM+P 將長期推理和規劃能力整合到現有的 LLMs 中。

V. 實驗

我們進行實驗以回答以下幾個問題：

1. LLM-AS-P 的表現如何？在多大程度上可以直接使用最先進的 LLMs 和基于 LLM 的推理方法進行規劃？（幾乎不能使用）

2. LLM+P 的表現如何？與 LLM-AS-P 相比表現如何？（好得多）

3. 上下文在 LLM+P 的成功中起到了什么作用？（至關重要）

4. LLM+P 能否幫助服務機器人在現實任務中變得更有效率？（可以）

A. 基準問題

我們展示了從過去的國際規劃競賽中借用的七個機器人規劃域，以及每個域自動生成的20個任務【67】。以下是這些規劃域的列表，并附有每個域的簡要說明。

1. BLOCKSWORLD：給定一組在桌子上的積木堆，一個機器人被要求將它們重新排列成指定的目標配置。

2. BARMAN：一個機器人調酒師被要求根據顧客的訂單使用可用的原料和容器制作雞尾酒。

3. FLOORTILE：一組機器人被要求在地磚上使用油漆顏色圖案。機器人可以四處移動并改變顏色，但不能踩在已經涂色的瓷磚上。

4. GRIPPERS：一組帶有兩個夾具的機器人被賦予將物體在不同房間間移動的任務。

5. STORAGE：給定一組起重機，目標是使用起重機將板條箱抬起并放入倉庫中。板條箱最初存儲在不同區域，起重機可以在存儲區域之間移動。

6. TERMES：一個機器人被要求通過攜帶和放置積木來建造復雜的結構，還要爬上積木以便能夠建造塔。

7. TYREWORLD：機器人被要求通過例如充氣輪胎、擰緊螺母和在完成后將工具放回后備箱等操作，按正確的順序更換輪胎。

對于每個問題 \( P \)，它包含一個自然語言描述和一個真實的 PDDL 問題文件。每個域還包括一個示例問題描述、對應的 PDDL 文件和計劃描述，作為各種方法中的上下文。我們假設每個問題域都有一個用戶或域專家在處理該域中的任何規劃問題之前提供的域 PDDL 文件。為了實現可重復性，此數據集在我們的代碼庫中公開提供。

B. 實驗設置

我們在所有實驗中都使用 OpenAI 提供的 GPT-4 模型【2】。我們將溫度設置為0，并使用最高概率響應。因此，LLM 返回的響應是確定性的。一旦生成了文本 PDDL 響應，我們將其輸入 FAST-DOWNWARD 規劃器，并嘗試使用 SEQ-OPT-FDSS-1（保證最優）和 LAMA（不保證最優）兩個別名，最大搜索時間為200秒。我們報告最優別名的成功率，對于超時的域，我們顯示次優別名的成功率（括號內）。對于基線方法，我們手動計算最優計劃的數量，并報告正確計劃的數量（如果有任何次優計劃，則在括號中）。

我們還評估了一個名為“思維樹”（Tree of Thoughts）的近期 LLM 推理方法，簡稱 LLM-AS-P（TOT）。我們調整了原始 ToT 實現中的廣度優先搜索算法【68】以用于規劃。在每個樹節點上，LLM 被提示提供允許的動作列表，然后調用 LLM 評估樹上新路徑作為部分計劃的可能性。相同的200秒時間限制被應用。

C. 結果與分析

將 LLM-AS-P 和 LLM+P 應用于7個域的結果如表1所示。

表 I：應用無上下文的 LLM-AS-P（LLM?）、有上下文的 LLM-AS-P（LLM）、思維樹（LLMToT）、無上下文的 LLM+P（LLM+P?）和 LLM+P 在不同域上的成功率 %。

發現（LLM-AS-P）：

1. 我們觀察到，盡管 LLM-AS-P 為每個問題提供了自然語言的計劃，但大多數計劃不可行。主要原因是 LLM-AS-P 缺乏推理前提條件的能力。

2. 在大多數情況下，無論是否提供示例計劃作為上下文，LLM-AS-P 都以相同的方式失敗。特別是在 BLOCKSWORLD 域中，LLM-AS-P 無法跟蹤諸如 ON 和 CLEAR 之類的屬性。在 BARMAN 域中，LLM-AS-P 的計劃未能在再次使用前清潔酒杯。

3. 最復雜的域是那些具有復雜空間關系的域。LLM-AS-P 方法（無論是否有上下文）在此類問題中完全失敗。在 FLOORTILE 域中，LLM-AS-P 生成了“移動到瓷磚 0-4 并將瓷磚 1-2 涂成黑色”，但機器人只能涂相鄰的瓷磚。在 TERMES 和 STORAGE 中，LLM-AS-P 忽略了機器人不能在它占據的同一位置卸下積木/板條箱的要求。

4. LLM-AS-P（TOT）在每個樹節點上調用 LLM 提供可用動作列表，然后調用 LLM 評估每條新路徑作為部分計劃。我們發現 LLM 能夠對部分計劃進行合理的排序，但它經常無法識別計劃是否達到了目標。由于 LLM 調用次數較多，LLM-AS-P（TOT）在大多數情況下超時，因此不適合解決長時間規劃問題。

發現（LLM+P）：

1. 提出的 LLM+P 為大多數問題生成了最優計劃。大多數失敗的情況是由于錯誤指定的問題文件，例如缺少初始條件之一（例如在 FLOORTILE 中沒有連接瓷磚），導致規劃問題無法解決。

2. 在沒有上下文的情況下（即沒有示例問題及其對應的問題 PDDL），我們觀察到 LLM 無法生成正確的問題 PDDL 文件。因此，上下文對于 LLM+P 的工作至關重要。

D. 機器人演示

我們驗證了 LLM+P 能夠通過部署在一個實際的機器人上高效解決現實中的服務機器人問題，該機器人被分配了整理家庭的任務。用戶要求機器人將芥末瓶從咖啡桌移動到食品儲藏室，并將空罐頭從側桌扔掉。由于側桌和回收箱位于從咖啡桌到食品儲藏室的途中，最優的計劃是將芥末瓶帶到側桌，扔掉罐頭后重新抓住它，總代價為22。圖2顯示了 LLM+P 發現的最優計劃。提示和生成的 PDDL 的部分內容如下。LLM-AS-P 輸出了一個次優計劃，該計劃先將瓶子帶到食品儲藏室，然后返回取罐頭，總代價為31。

（注釋：LLM+P 生成的整理問題 PDDL

問題 (P)：你是一臺配備一個夾具的家用機器人。咖啡桌和側桌之間的距離是10，咖啡桌和儲藏室之間的距離是20……你現在在咖啡桌旁，有一個芥末瓶……你的目標是將物品移動到它們的目的地……

LLM+P 生成的問題 PDDL：

```pddl

(:objects coffee-table side-table recycle-bin pantry - location

mustard-bottle soup-can - object)

(:init (= (total-cost) 0)

(= (distance coffee-table side-table) 10)

(= (distance coffee-table pantry) 20)

... (robot-at coffee-table)

(at mustard-bottle coffee-table)

(at soup-can side-table)

(hand-empty) )

(:goal (and (at mustard-bottle pantry) (at soup-can recycle-bin)))

(:metric minimize (total-cost))

```）

圖 2：整理計劃的最優方案演示。機器人從咖啡桌開始：1) 拿起瓶子，2) 導航到放有側桌和回收箱的房間，3) 放下瓶子，4) 抓住罐頭，5) 將罐頭放入回收箱，6) 重新抓住瓶子，7) 導航到廚房，8) 將瓶子放入儲藏室。

VI. 結論與未來工作

在這項工作中，我們提出利用經典規劃器來賦予大規模語言模型（LLMs）最佳的規劃能力。LLM+P 框架的關鍵設計選擇是將 LLM 的重點放在將規劃問題從自然語言翻譯成結構化的 PDDL 格式上。此外，我們展示了讓 LLM 意識到一個簡單的（問題，PDDL）對作為示例（或上下文）對上下文學習的重要性。

一些擴展 LLM+P 框架的有趣方向包括：

1. 使 LLM 能夠自動識別何時以及如何應用 LLM+P；

2. 減少 LLM+P 對人工提供信息的依賴，可能涉及微調。

Liu B, Jiang Y, Zhang X, et al. Llm+ p: Empowering large language models with optimal planning proficiency[J]. arXiv preprint arXiv:2304.11477, 2023.

1Language Technologies Institute, Carnegie Mellon University

2Allen Institute for Artificial Intelligence

3University of Washington

4NVIDIA 

5UC San Diego 

6Google Research, Brain Team

本文轉載自公眾號AIRoobt ，作者：AIRoobt

原文鏈接：??https://mp.weixin.qq.com/s/EvdJU-G_JdhemKNkSvfbBQ??