自動駕駛端到端規劃方案調研（工業界+學術界）
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
一、Tesla FSD V12 2023
方案
具體方案暫未公開，只有以前的一些非完整端到端的方案資料：
視頻
https://www.bilibili.com/video/BV1nh4y1g7kN/?spm_id_from=333.337.search-card.all.click&vd_source=bd235d6e6aad74d3a6ab16cc9c111560
這里的視頻里講的是基于Occupancy Network + Occupancy Prediction + 基于Occupancy的規劃，這種方案可以弱化算法對在線建圖的依賴，也更有利于感知與規控間信息減少多模態信息丟失。但需要很強的數據基建。
效果
端到端能做到這樣確實很驚人，但是要真論實際效果，當前比起現在業界L4的規則方案肯定是差很多的，但如果真的宣傳的水分不是很大的話，確實是很快會革新行業的。
二、UniAD 2023
方案
走的是Tesla的OccNetwork + Occ Pred的路子，不過地圖使用語義分割有一個顯式的在線建圖過程。主要思路是每個模塊單獨訓練，訓完之后拿單獨訓練到的模型初值，串在一起拿Planner的cost為主進行整體refine。
論文：https://arxiv.org/pdf/2212.10156.pdf
效果
2023 CVPR Best Paper，但只評估了開環效果，閉環應該是不是很好。
三、Momenta新方案 2023
方案
- 看這個圖只確認了Decision & Goal是Transformer出來的，對于Trajectory畫得比較模糊，預計當前依然是值優化方法，不清楚未來想如何解決梯度回傳問題。
- 沒有使用Occupancy Network表達地圖，而是直接Online HDMap Construction來解決無圖問題
視頻：
https://www.bilibili.com/video/BV1gj411Z7PL/?spm_id_from=333.337.search-card.all.click&vd_source=bd235d6e6aad74d3a6ab16cc9c111560
效果
端到端方案還未完成上線，說是計劃2023年底Planner端到端，2025年中整體端到端。
暫時不清楚效果，但Momenta這個是自動駕駛工業界里很少的直接公開自己要全面做端到端自動駕駛的，于是列在前頭。
四、地平線nuPlan參賽方案
方案
先用模型生成一個粗軌跡和OCC及heat map，然后用heat map + OCC作為勢場，利用數值優化方法，推動粗軌跡優化出一條安全軌跡。
論文：https://arxiv.org/pdf/2306.15700.pdf
效果
NuPlan比賽第二名
五、云驥智行方案 2023
方案
看起來就是直接拿了個預測算法當planner用，然后做了些Tricky，比如2s才規劃一次，檢測到碰撞的話replan。
個人感覺這個方案對做規劃參考意義有限。
論文
https://opendrivelab.com/e2ead/AD23Challenge/Track_4_pegasus_weitao.pdf
效果
nuPlan比賽第三名
六、Motional的L4 RoboTaxi方案 2022
方案
論文：https://arxiv.org/pdf/2206.03004.pdf
先用規則生成大批待選軌跡，然后用規則進行剪枝，確保安全性，再用IRL訓出來的模型來給剩余軌跡打分，最終選擇排序最高的軌跡。
思路很簡單直接，但該方案勝在與Rule可以很好的結合來確保絕對安全，又可以充分利用Learning Based算法來確保長時規劃合理性，確保體感和避免走入潛在風險場景。
效果
不完全是端到端，僅是部分替換motion planning。
論文不怎么出名，但實車驗證過效果不錯，安全性優于IDM
國內也有公司使用與此類似的方案做L4實車全無人RoboTaxi的，因為可以與規則類方法很好的協同，效果比較好。
七、一些學術界基于Occ + Occ Pred的論文
方案
以Occupancy Prediction-Guided Nerual Planner for Autonomous Driving為例：
輸入信息比較雜，有Occ Visual Feature，也有一些Vector Feature。
用多種Prediction（如ChauffeurNet等）混合起來做Occ Prediction
然后且主車預測軌跡和Occ預測結果作為做數值優化的輸入，設計了幾種cost，然后用非線性數值優化求解器求解。
除去輸入是Occ Network，后邊這塊兒方案和地平線的還有點像。
論文：https://export.arxiv.org/pdf/2305.03303
八、其他
暫調研了這些。強化學習相關的方案本次暫未調研。
總結
一個不得不提的重要信息
在CVPR 23 AD Challenge NuPlan挑戰中，奪得第一的，是一個Rule Based算法。
論文
https://arxiv.org/pdf/2306.07962.pdf
該論文中做了幾個實驗：
- 20年前就提出的IDM算法，比他找的幾個SOTA的Learning Based算法閉環分數都高。但開環評分Learning Based算法一般更優。
- 他們試驗，使用一個僅使用中心線而不使用障礙物的方法，開環評分就直接擊敗了眾多SOTA方案。
- 他前2秒軌跡用IDM稍微改裝的算法，后n秒軌跡用前述Learning Based方法生成，出了一個混合模型，開閉環效果都最優，擊敗了一眾對手獲得第一名。要知道，后n秒軌跡實際上閉環跑的時候根本用不上，所以這個方法本質上可以說就是個純Rule Based方法。這個算法甚至連變道都不支持...
得到結論：
- Learning Based算法擅長長時規劃，Rule Based算法擅長短時規劃。
- 閉環效果更需要好的短時規劃能力，開環效果主要看長時規劃能力。
對我們來說，啟發就是，目前學術界的方法效果與工業界差得還是有點多的，想要達成好的效果，短期來看，依然是要強依賴規則，如何讓規則與模型更好的融合，才是當前最有希望的路子。
因此前述論文，個人感覺對于工業界，最有希望效果比較好的路子是多參考Motional的Driving in Real Life with Inverse Reinforcement Learning 這篇，以及地平線的方案，這兩個方案都相對容易與現有的規則算法一起工作。
