本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

Rethinking Integration of Prediction and Planning in Deep Learning-Based Automated Driving Systems: A Review

原文鏈接：https://arxiv.org/pdf/2308.05731.pdf

聲明：本文僅用于學習，建議大家閱讀論文原文以獲取更多細節信息。全文中文概要內容如下：

摘要

模塊化自動駕駛系統通常將預測和規劃作為獨立任務序列來處理。雖然這解釋了周圍交通對本車的影響，但它無法預測交通參與者對本車行為的響應。最近的研究表明，在一個相互依賴的聯合步驟中整合預測和規劃對實現安全、高效、舒適的駕駛是必要的。各種模型實現這樣的集成系統時，缺乏一個全面的概述和理論理解，我們系統的回顧了基于深度學習的預測、規劃以及預測和規劃融合的算法模型，從模型結構和設計到行為等各方面因素和關聯性。此外，我們還討論了不同集成方法的含義、優勢和局限性。通過指出研究差異，描述相關未來挑戰，重點關注研究領域的趨勢，我們確定了未來有希望的研究方向。

關鍵字：自動駕駛，運動預測，運動規劃，深度學習

1 前言

自動駕駛(AD)通常分為感知，預測，規劃和控制子任務，以確保乘坐安全，高效，以及舒適度。傳統的、模塊化的系統(參見圖1)將預測和規劃作為單獨的任務，然而這種順序存在相干反應并且不能表征本車和周圍交通參與者在交通場景下的連續相互影響，因此預測和規劃不應當作獨立的順序執行問題而對待。理想情況下，所有相關車輛都要注意彼此的情況選擇未來的運動，在任何時候允許復雜的交互。這種聯合建模可以反映交通參與者如何持續地對彼此的行為做出反應，以及他們如何創建相互的“假設場景”來實現類似人類的，安全、舒適駕駛。我們稱這種方法為融合預測與規劃(IPP)。

1.1 研究范圍

本文中，我們將回顧預測和規劃如何融合集成到同一個模塊。基于深度學習的方案利用數據可以在高緯度空間找到更合適的解決方法，而且近期以及在一些領域有了重大進展。本文我們主要集中在基于深度學習的方法。我們的工作集中于交通參與者之間直接或間接的交互場景，此外，我們排除了行人運動預測，與車輛相比，行人是更弱的動態約束條件并且也已經被充分的綜述研究過。

1.2 本文組織結構

在研究融合預測和規劃之前，本文首先分別回顧了基于深度學習的預測和規劃任務。文章結構如下：

• 我們首先回顧了基于深度學習的預測、規劃和IPP方案的SOTA方法和基準。
• 我們提出了一種融合預測和規劃的分類方法，從模型結構和系統設計到行為等方面進行分類。
• 我們調研和分析了這些類別在安全性和魯棒性方面的關聯和影響。
• 我們研究了這些SOTA研究之間的差異并指出了未來更有希望的方法和方向。

2 自動駕駛系統

本章主要介紹必要的術語和簡潔定義預測和規劃。

2.1 結構

模塊化子系統如圖1a所示，人為的設計各個模塊之間的接口，增加了可解釋性，如果所有接口都是可微分的，模塊化方法也是可以端到端訓練的。

端到端方案使用單一神經網絡模型，這種方法不會在模塊接口間損失信息，缺點是缺少可解釋性并且會引起低樣本效率。

可解釋的端到端方案緩解以上兩種方案缺點，這些模型會增加輔助任務，并且這些任務不傳播到下一層，而是直接用中間的隱藏層進行連接。

2.2 任務定義

這一節主要是一些字符說明和表達式說明，在此不再展示，大家直接看原論文即可，后續使用的字符會在使用時進行簡要說明。

3 預測

自動駕駛中，預測是理解駕駛場景如何發展并對后續規劃模塊有何影響。3.1討論了不同場景下個體與全局的交互表示，3.2秒回顧了哪些神經網絡設計用于交互建模并提取描述性特征。第3.3節將說明如何實現將提取的特征映射到軌跡預測中以及多模態是如何建模的

3.1 場景表示

表示一個場景意味著提取相關子集所有可用的信息，并將其轉換成一種格式后續處理步驟可以利用的。在自動駕駛車輛軌跡預測上下文中，交通參與者狀態X（有上橫杠）和地圖I都是非常重要的信息表示，在基于深度學習方法中，有兩個重要的表示方法：柵格化和稀疏表示，如圖2所示。

柵格化使用稠密的固定像素的網格結構進行表示，往往有多個通道。詳見參考文獻[54]-[61]。DESIRE [8]是柵格化的早期方法，為了融合本車的多傳感器輸入信息，使用BEV地圖。BEV映射允許結合不同的傳感方式，建立一個所有車輛的通用坐標系統。

稀疏表示，AD決策取決于幾個關鍵對象而不是所有可用的場景信息[76]。因此，稀疏表示的思想是去除冗余和來自場景表示的不相關信息。圖是用于預測的最常用稀疏表示，也被歸類到矢量和折線表示。在交通圖中，節點表示編碼對象并且邊緣模擬了它們之間的關系[63]。隱藏的節點特征包含了對象種類和向下文信息。

一些方法結合柵格化和稀疏表示[39]，[95]通過對場景的不同方面進行編碼表示。此外，一些作品使用體素表示它們的稀疏度不同[96]，[97]。MultiPath[59]和MultiPath++[37]非常適合比較，因為它們是相似的模型，其主要區別是參考在于輸入表示。他們的結果顯示從柵格化到稀疏化可以提高性能。該領域的整體發展證實了這一點趨勢，如圖3所示。時間軸按時間順序排列從理論上描述了有效的預測方法，并展示了在過去的幾年中轉向稀疏表示。

坐標系，具有固定視角的全局坐標系統對于整個場景[6]，[44]，[98]，[99]而言都是非常高效的。

從表示角度分析，不同的深度學習方案有不同的處理方式，網格化表示適用于CNN類別模型，稀疏化表示適合GNN類模型、注意力機制以及transformer。

3.2 交互建模

交通場景中，個體之間的交互建模是預測的關鍵環節，與其他交通要個體的交互避免了碰撞以及使得車流更加順滑，進一步約束可行駛區域。

RNNs，一些早期的預測模型，如DESIRE[8]或[39]將rnn與如pooling或者注意力等聚合算子結合起來。

CNNs，這一類使用2D卷積隱含的獲取kernel之間的聯系，與基于序列處理的方法相比，重要性更多的分配給空間交互。

GNNs和注意力機制，通過圖卷積算子或者軟注意力機制聚合多中個體之間的信息來表述單個體之間的交互。

Transformers，在過去幾年對預測有很大影響。因為跟蹤車輛位置式最時間變化的，預測任務的輸入包括空間和時間信息，交互建模要求理解車輛的空間交互額和時序動態。尤其是Transformers結構出現以來，很容易實現通過設計來決定如何處理空間和時間。空間和時間數據可以存儲在不同的維度輸入張量中，然后在單個維度內或跨不同維度執行注意力機制。

圖3中揭示場景表示下不同的交互模型的演進，CNN模型和RNN模型在網格場景表示早期工作中比較常見，GNN模型，注意力機制和transformer模型在稀疏化表示中應用更多。

3.3 軌跡解碼

預測的最后一步是生成軌跡。在基于深度學習的方法中，通過對捕捉到的潛在特征解碼實現。我們聚焦于軌跡解碼的兩個方面：解碼規則和多模態建模。

解碼規則，分為三類one-shot, two-shot, and n-shot，如圖4所示。直接預測未來軌跡點更為常見。

one-shot方法又分為軌跡回歸解碼和錨點軌跡分類。軌跡回歸直接使用神經網絡將隱藏層特征解碼為軌跡，典型的是MLP。尤其是基于transformer的結構直接進行軌跡回歸，如圖3所示。錨點軌跡分類通過預先設定的錨點軌跡作為先驗知識進行分類。確定錨定軌跡可以確保該預測的可行性和允許施加更強的運動學約束。然而，罕見的軌跡可能不包括在錨點中，該方法缺乏靈活性。

two-shot方法包括端點和初始軌跡和改進策略的完整方法，n-shot要么是初始軌跡法，要么是自回歸規劃。

多模態，觀察到的SV的意圖是未知的，未來的行為本質上是不確定和多樣式。可以區分為兩種技術，Ppred可以用離散軌跡集來估計或用連續分布表示。離散軌跡可以從中間描述抽樣或者模型設計時獲取。連續分布。不同于離散軌跡集，它可以有利于直接使用連續分布作為代價函數用于規劃。

3.4 基線

測試基線比較簡單易懂，許多數據集用于訓練和測試。通過對比SV的預測軌跡和測試集中每個時刻的真實軌跡來進行評估。對于解釋多模態，SV對象的不確定意圖，評估基線采用贏家通吃的評估策略，即模型預測幾個固定的軌跡輸出比如6個或10個，然后評估最好的一個，包括可選的概率。

4 規劃

規劃任務是為本車找到一個具有安全性、舒適性、運動可行性的軌跡YEV，并且是基于觀察值X EV和X SV以及額外的上下文I和可選的YSV（Y有橫杠）。在這一章，在4.1和4.2節全面的回顧輸入和輸出表示，X EV , X SV , and I 。在4.4接對現有工作進行分類和討論現有常用范式之前，4.3節闡述目標狀態，最后我們介紹了現存的benchmarks。

4.1 輸入表述

我們將輸入表述分為科技史的中間描述和隱藏層特征。可解釋的中間表示通常是用于模塊化ads(參見第2.1節)。而隱藏層特征，對于直接映射傳感器的E2E 自動駕駛(參見圖1)[9]、[126]、[181]，PS輸入X EV, X SV和I由潛在特征表示。使用學習隱藏層中間表征的好處是，不需要人工的設計不同模塊之間的接口。隱藏層特征表示的主要缺點是缺乏可解釋性。如果失敗，評估系統哪個部分造成的誤差是極端的困難。這使得純E2E系統的調優和調試成為可能條款特別難。可解釋的端到端系統尋求通過產生額外的中間體來彌補這一點表示[70]。與模塊化技術棧相反，這些方法不使用可解釋的中間輸出。它們只用于額外的監督模型自省。圖3的時間線顯示，與隱藏層輸入特征相比，可解釋的輸入表示變得越來越流行。

4.2 輸出表述

規劃模塊的輸出表述是一系列未來的狀態或者控制動作。未來狀態包括2D位置和規劃的軌跡航向，這些信息傳遞給下游控制器。軌跡表示有很好的可解釋性。此外，它與當前和預測的占用特征和BEVmap等都在同一個笛卡爾空間內，可以很方便的用于檢測碰撞、交通法規等問題。不過，實際的駕駛性能還取決于下游控制器。未來控制動作是規劃的另一種輸出表示，E2E自動駕駛多采用這種方式。這該方法可提高運動的可行性和舒適性，因為它直接關系到行動的大小。但是，產生的行為取決于被控制的對象車輛個體動力學模型[34]，[183]。因此，泛化到其他車輛的能力非常受限。圖3描述了端到端自動駕駛的規劃演進過程，近年來軌跡輸出越來越流行。

4.3 目標調整

自動駕駛的目標是安全行駛到目的地，因此，目標導向是決定了規劃算法適應性的主要因素。導航系統的車道級別的路線信息可以輸入給規劃器，通過地圖的車道信息，得到一組稀疏的目標信息，沿著這組信息，每一步都有最近的位置信息提供給規劃器，相對信息可以方便的從GPS導航系統獲取。對目標信息如何送入規劃算法，我們主要定義了四個類別：input features, separate submodules, routing cost, and route attention。

input features簡單直接的合并目標信息并且已經被廣泛使用，存在不同的實現方法。如果地圖信息被標記為on-route或off-route，這一信息可以在柵格地圖中作為分離的語義信息。

Separate submodules僅用于高級別命令，作為特定命令之間的子模塊。

Hand-crafted routing cost，通過人工制定的規則重新優化規劃軌跡。

Route attention，強制規劃模型集中于預設的路線，

圖3顯示早期的模型并未通過目標而訓練規劃模塊，后來，子模塊和輸入特征站主導地位，近期的模型引入了規則注意力。

4.4 規劃算法

回顧公式5，我們將規劃定義為一個從觀測輸入X EV , X SV , and I到估計Y EV的一個函數f，接下來，我們聚焦規劃函數f。根據預期生成器，我們將規劃認為區分為三種范式：損失函數優化，退化和混合規劃。

4.5 測試基準

規劃的評估方法包括開環評估和閉環仿真，開環仿真與預測任務相似，將控制器的輸出與專家規劃進行對比，然而近年來的研究表明開環評估與實際的駕駛表現性能關聯性不大。閉環仿真是用規劃器控制本車，更接近真實世界。Carla 或 nuPlan兩個數據集都是基于SV的駕駛模式。

5 預測和規劃融合方案

接下來著重關注PS中哪些設計決策在行為交互場景中有影響。尤其是探討PS如何考慮SV（Surrounding Vehicle）的預期行為因素。尤其是分析PS在SV的將來非預期行為下的規劃，分析SV對EV的影響。圖6描述了不同方式下，預測和規劃組件如何構建PS。接下來，我們從當前工作的分類開始介紹（5.1），接下來討論模塊融合系統中設計選擇產生的交互行為的意義（5.2），5.3節討論了模塊化融合系統中安全和應急概念。5.4討論了這些分類的可能組合，如圖5所示。

5.1 融合策略

本章主要討論圖6中的三種策略。

Monolithic E2E ，統一的端到端策略由單一的規劃器組成，因此，SV的未來行為和它們之間的相互作用，以及SV和EV之間的關系沒有明確建模。這種方法可以更好地再現專家的駕駛決策，但有更高的迅雷數據需求，主要的缺點是它們的黑盒子性質，這使得模型自省和安全驗證非常困難。

Interpretable E2E，可解釋的端到端規劃框架將預測作為輔助的學習任務，作為一個明確的模型輸出，預測任務與規劃任務一起被訓練。一般情況下，兩個任務共享骨干編碼特征，輸出頭分別解碼生成對應的輸出表示。與單一的端到端規劃相比，顯式預測增加了可解釋性并促進了自省。盡管如此，兩種PS設計都依賴于隱含的預測在潛在的空間中進行規劃任務并沒有安全性可以提供保證。因此，我們歸因于增加由此產生的駕駛性能(碰撞率)[65]對其規范效果的額外監督。

Manual integration，人工融合方案意味著不同的任務使用不同的子模塊，這兩個任務的相互作用是基于專業知識手工設計的。被廣泛采用的方法是順序融合法，預測模塊的輸出傳遞給規劃模塊。由于該設計無法反映EV的規劃對SVs的影響，所以其他作品首先推斷模塊化規劃器來生成候選規劃。隨后，預測以這些候選項為條件，然后用于在候選項中選擇EV的規劃[130]，[240]。

接下來介紹了PRECOG [69]，PiP [130], [241] ，DSDNet [72] ，P3 [70], LookOut [73], and MP3 [74]，SafetyNet [80]， UniAD [132]，FusionAD等一系列作品的方案。與其他融合原則相比，人工融合需要更多的工程工作，但以一種有意義的方式結合先驗知識約束了融合方案的安全性。通常，人工集成的PSs比端到端系統提供了更高的可解釋性和更安全的方案[81]，[247]。圖3中的時間軸顯示了早期的工作主要依賴于單片E2E設計中的隱含預測。從ChauffeurNet[61]和PRECOG[69]開始，明確的預測變得更加流行。最近，端到端可微模塊組件的人工集成引起了廣泛關注[132]，[182]。

5.2 本車與其他個體之間的聯系

在前一節中，我們從系統架構的角度回顧了集成融合的原則。在下文中，我們將從不同的角度分析人工集成類別，即預期的本車和其他個體間關系。這在高度交互的場景中尤為重要，因為汽車需要根據對周圍智能體的觀察和預期行為來做出駕駛決策。然而，正如[5]所指出的，汽車也需要意識到它會影響他人的行為。

例如，在圖7的示例中，汽車的規劃可以也會影響SV的行為，例如通過接近交叉口速度加快會導致SV減速并向EV屈服。[5]引入以下四大類：機器人主導規劃、人主導規劃，共同主導規劃，聯合規劃。在這種情況下，人是指周圍的交通，機器人指的是自動駕駛汽車。下面，我們簡要描述這些類別并討論現有的工作。

Robot leader planning，根據當前狀態推斷EV規劃，并以此為條件對整個環境進行預測。這可能導致打擊性駕駛行為。例如在圖7的示例中，EV將推斷出當它遵循快速推進的規劃時，觀察到的SV將屈服于它以防止碰撞。

Human leader planning與機器人主導規劃是相反的，該規劃基于SVs的預測行為。它沒有模擬EV的規劃對SVs的影響，這可能導致不自信的行為[5]。在未受保護的右轉示例中(參見圖7)，EV試圖在沒有意識到它會影響兩種預測的SV行為的情況下找到適合的方案。因此，它將傾向于較慢的規劃。

Joint planning，聯合規劃描述了能夠意識到車輛(包括自我)相互作用的系統。通過對所有智能體的全局優化得到汽車的規劃。因此，在存在最優結果的假設下，IPP系統確定性地近似于一個聯合目標[248]。例如，如果圖7中的EV在接近SV之前擠入，這可能是相對于合理的全局目標而言最優的。盡管如此，并不能保證SV的行為是相應的，不會加速。因此，[5]證明了這是如何導致致命錯誤的。

Co-leader planning，共同主導規劃模擬了SVs潛在未來行為的影響以及他們對潛在自我軌跡的反應[5]，[249]，[250]。與聯合規劃類別相反，周圍個體的行為不被認為是確定性的。因此，EV必須在規劃步驟中通過制定應急規劃來考慮這種不確定性，也就是說，它必須為多種未來結果做好準備，并能夠做出相應的反應。這種行為被稱為被動偶然性。

圖3顯示，沒有觀察到任何一種范式的明顯趨勢。這表明，目前尚不清楚這四個理論概念中哪個優于其他理論概念，以及如何在系統架構的設計中實現它。這可能與缺乏全面的經驗基準有關。

5.3 安全性和應急能力

上面討論的自我-其他個體關系類別強調了考慮多種潛在的未來情景對安全和應急規劃至關重要。在下文中，我們將討論如何將其合并到我們定義為規劃函數f = h(g(X EV, X SV,I)的一部分的成本函數組件h中(參見第4.4節)。我們形成了以下三組關于安全和應急的現有方法：邊緣預測規劃、最壞情況規劃和應急規劃。它們在圖7中作了簡要概述。

Planning with marginalized predictions，帶邊緣預測的規劃描述了IPP系統，它不能明確區分多個未來情景N。這意味著與未來結果Y (j)SV相比，預測Y SV被邊緣化。如圖7所示，成本函數需要權衡不太可能但危險的場景(如碰撞)和非常可能的低成本場景。這對安全至關重要，因為規劃者需要謹慎，尤其是那些不太可能發生但危險的事件。

Worst-case planning，最壞情況規劃是指IPP系統意識到存在多種未來結果Y (j) SV。在這個類別中，所有情景都被認為是同等相關的，即不考慮概率能力P(Y (j)SV)。相反，每個提案都是根據最壞的情況進行評估的。這種模式強烈關注避碰，并可能導致過度謹慎的行為，如圖7所示。這樣的規劃者沒有意識到，根據形勢的實際發展，會發生重新規劃。

Contingency planning，應急規劃是對IPP系統的最高要求。它通過考慮不同的未來情景Y (j) SV及其概率P(Y (j) SV)，為場景的未知未來發展做好準備。由此產生的規劃可以對沖最壞情況的風險，同時實現預期的進展。基于成本函數的規劃范式和混合規劃范式都具有這些屬性。

5.4 可行的組合

在前面的章節中，我們描述了三種分類預測和規劃集成融合的方法，即(1)集成原則，(2)安全性和偶然性，以及(3)自我-其他個體關系。下面，我們將討論這三個維度的可能組合。圖5顯示了概述。我們的關鍵見解是，我們所描述的類別描述了不同層次上IPP方法之間的差異。雖然集成原則側重于高級系統體系結構，但自我到代理的關系主要基于該體系結構應該展示的交互行為。安全性和偶然性的考慮建立在成本函數的基礎上，即對方案選擇的具體設計選擇。下面，我們將重點介紹這些類別之間的關聯。需要強調，下面的分類是基于架構的，而不是基于結果行為的。在評估過程中，模型很可能表現出多個類別的屬性。因此，交互場景中的基準測試是不可避免的，以確定模型是否確實顯示了預期的行為(參見第4.5節)。

我們認為機器人領導者范式可以與所有三個成本函數相結合。考慮一個簡單的機器人主導模型，它首先識別潛在的自我規劃，然后預測基于每個規劃的sv的未來行為。汽車方案的最終選擇可以基于屬于這三類中的每一類的成本函數。然而，現有的作品使用專門的成本函數，不遵循我們在第5.3節、[95]、[129]、[130]、[240]中概述的結構。我們想強調的是，系統地將機器人主導架構與相應的成本函數相結合可能是未來研究的一個有前途的方向。特別是偶然或最壞情況成本函數可以緩解機器人領導者規劃相關的固有問題，即依賴于SVs以潛在的不合理方式為EV的利益做出反應。

6 挑戰

基于對基于深度學習的預測和規劃以及在ADS中的集成融合概述，我們認為未來研究的四個核心挑戰為：大規模測試、系統設計、綜合基準測試、訓練方法。

大規模測試，在將自動駕駛系統部署到實際應用之前，需要進行大規模測試以驗證其有效性。這是的仿真非常必要。為了涵蓋潛在驅動場景的長尾分布，我們需要采用有效的方法來生成和檢索罕見但潛在關鍵的場景。特別是評估對抗性魯棒性可以幫助識別關于分布移位和分布外邊界的泛化的局限性。

系統設計，采用傳統的、由感知、預測、規劃和控制組成的嚴格順序系統仍然是一種流行的選擇。我們的調查表明，這種方法無法滿足對駕駛系統的要求。替代方法以一種允許對潛在的自我規劃進行調節預測的方式將預測和規劃集成在一起。盡管如此，目前仍不清楚哪種集成架構最有效。特別是在日益流行的可解釋端到端系統領域，如何將預測和規劃結合起來還不清楚。

全面的基準測試。我們討論了預測和規劃整合的不同方面。然而，沒有一個全面的經驗基準再現和分析它們的優缺點。這樣的概述將有助于更好地理解不同的自我-其他個體關系和安全/應急范式的影響。這需要在現實和高度互動的場景中進行模擬，并為周圍的車輛和富有表現力的交互指標提供現實的駕駛員模型。

訓練方法，當基于學習的方法應用于安全關鍵領域(如自動駕駛)時，魯棒性至關重要。安全關鍵場景[256]在訓練數據中很少發生，例如在電動汽車前面發生碰撞。但為了確保自動駕駛車輛的安全行為，關鍵是該系統也能適應這些情況。確保強大的泛化和保證安全性是一個開放的挑戰。

7 結論

本文中，我們全面概述了各種任務技術方法基礎上，調研分析了自動駕駛系統中預測和規劃的融合集成方法。我們描述、提出和分析了各種類別，以比較綜合預測和規劃工作，并強調了對安全和行為的影響。最后，根據發現的差距，指出了未來研究的發展方向。