本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

大語言模型在自然語言處理和生成方面的卓越能力，為自動駕駛技術帶來了全新的活力。中科慧拓攜手中國科學院自動化研究所、武漢大學、加州大學伯克利分校和西安交通大學，使用大語言模型開發了符合人類駕駛邏輯的運動規劃算法InstDriver。中科慧拓技術團隊基于人類的駕駛邏輯（如避免碰撞）和交通規則（如只在綠燈亮時行駛）生成駕駛指令數據。然后，通過模擬人類駕駛員思考方式的思維鏈InstructChain進行進一步推理，最終獲得能夠反映指令執行效果的運動規劃。該思維鏈支持加入人類規則，并從駕駛數據中學習，從而實現運動規劃的可解釋性以及駕駛數據的可擴展性。InstDriver已在全球首個自動駕駛規劃基準nuPlan框架中進行了廣泛的開環和閉環測試，顯示了其優異的性能。

論文鏈接：代碼鏈接：https://github.com/bonbon-rj/InstructDriver

論文思路

自動駕駛技術對于提高道路安全至關重要，它可以減少交通擁堵，提高運輸效率。目前廣泛采用的自動駕駛流程包括感知、預測和運動規劃，它們共同使車輛能夠在復雜環境中導航。其中，運動規劃尤為重要，它通過確定最佳路徑和速度，在避免碰撞的同時確保車輛平穩安全地行駛。

傳統的基于規則的方法利用預定義的規則和邏輯條件進行規劃，這種方法具有很高的可解釋性，但難以考慮到所有可能的情況。基于學習的方法在大量自動駕駛場景數據基礎上進行訓練，使模型能夠學習和理解各種場景。盡管基于學習的方法性能卓越，但它們將運動規劃視為黑箱預測問題，從而引發了人們對輸出軌跡是否與人類駕駛行為一致的擔憂。

隨著大語言模型（LLM）的出現，最近的方法試圖將其知識轉移到運動規劃中。盡管這些方法取得了令人鼓舞的成果，但它們通常依賴于預定義的規劃目標，而且目前仍不清楚LLM是否真的掌握了人類駕駛的基本邏輯。由于缺乏真實世界的閉環評估，人們擔心它們能否根據環境數據做出規劃決策。

為了解決這個問題，我們提出了一種InstDriver方法，通過生成一系列基于人類駕駛邏輯的指令數據，使基于LLM的規劃器與人類行為保持一致。另外，我們模擬人類駕駛員的思考方式提出了一個InstructChain模塊，用于將這些指令組合起來，推理出最終的規劃軌跡。InstDriver允許結合人類規則，并從駕駛數據中學習，從而實現可解釋性和數據可擴展性。通過利用一系列中間指令，InstructChain增強了LLM處理復雜規劃推理任務的能力。

我們的貢獻總結如下：

• 我們提出了InstDriver，使LLM與一系列人類指令保持一致，確保它們與人類的駕駛邏輯保持一致。
• 我們提出了InstructChain，使LLM能夠明確地跟隨指令的執行，從而提供高度的可解釋性。
• 我們在nuPlan框架內進行了廣泛的開環和閉環實驗，驗證了所提方法的有效性，實現了具有競爭力的性能指標。

圖1：InstDriver的動機。左圖比較了不同的自動駕駛運動規劃方法，展示了我們的方法在沒有預定義目標的情況下發揮作用的能力，強調了其如何引導規劃器產生類似人類的駕駛行為。右圖說明了提供的指令與結果輸出之間的對應關系。

方法設計

我們提出的InstDriver是一種指令微調的方法，通過構建與人類行為一致的指令數據對大語言模型進行微調，進而實現符合人類駕駛邏輯的規劃器。其中InstructChain不僅反映了指令的執行情況，也展示了整個規劃過程。它通過四個步驟來精細化運動規劃的過程：

• 初步規劃：對當前場景進行一個初步的高級語義動作規劃，例如沿當前車道前進。
• 風險預測：通過預測自車的未來位置和識別可能的碰撞風險物體，并提供潛在碰撞方位以便后續的行動規劃。
• 地圖因素分析：考慮與交通環境有關的因素，包括交通信號、速度限制和車道線，確保行動計劃的合規性與安全性。
• 高級動作規劃：綜合前三步獲得的信息，制定細致的高級語義動作規劃。

隨后，最終的高級語義動作規劃將會被映射到自動駕駛汽車的實際運動軌跡，用于仿真環境中進行模擬。

圖2：InstDriver的運動規劃過程概述。我們的方法將場景數據轉換為文本描述，并通過設置特定指令，使經過微調的LLM能夠生成符合人類駕駛行為的InstructChain和軌跡。隨后將軌跡應用于模擬環境進行仿真。

實驗結果

我們利用nuPlan提供的官方指標進評估，包括開環分數（OLS）、非反應性閉環分數（NR-CLS）和反應性閉環分數（R-CLS）。OLS包含平均距離誤差 、平均航向誤差 、最終距離誤差 、最終航向誤差和缺失率等計算，NR-CLS和R-CLS涉及對駕駛區域和方向的適當性、駕駛軌跡的相似性以及對交通法規的遵守情況的評估。我們在nuPlan框架內進行了廣泛的開環和閉環實驗，并在開環指標上取得第二的成績。

表一：在Test14-random和Test14-hard基準下與最新技術的模擬結果比較。粗體數字代表指標中的最高值，下劃線數字代表次高值。其他方法的模擬結果來自PlanTF。

場景可視化

InstructChain提供了輸出規劃所涉及的中間過程的表示，其反映了整個規劃過程，包括基于指令的理解和推理。以過路口為例，其揭示了規劃器最初根據當前的車道標記直行，然后注意到左前方和右前方的碰撞風險。考慮到當前為綠燈且沒有超速，它最終的規劃為加速直行。這表明規劃器可以根據給出的指令進行符合人類駕駛習慣的運動規劃。

圖3：規劃器進行規劃的過程圖示，包含具體的自動駕駛場景及其對應的InstructChain。表明規劃器可以根據給定的指令生成符合人類駕駛行為的規劃。

總結

本文設計了符合人類駕駛邏輯的指令數據以及對應的思維鏈InstructChain，提出了基于大語言模型的運動規劃算法InstDriver。我們在全球首個自動駕駛規劃基準nuPlan框架中進行了廣泛的開環和閉環測試，證明了所提出的InstDriver的優異性能。通過對InstructChain進行廣泛的消融研究以及示例場景的可視化，展示了InstDriver可以根據指令生成符合人類駕駛習慣的駕駛行為。InstructChain不僅反映了規劃器對指令的理解，還包含了對整個運動規劃的推理過程，顯示了其高度的可解釋性。