本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

“要么擁抱端到端，要么幾年后離開智駕行業。”

特斯拉率先吹響了方案更新的號角，無論是完全端到端，還是專注于planner的模型，各家公司基本都投入較大人力去研發，小鵬、蔚來、理想、華為都對外展示了其端到端自動駕駛方案，效果著實不錯，非常有研究價值。

為什么需要端到端？

首先我們聊一下當前的主流自動駕駛方案，主要核心部分包括：感知模塊、預測模塊、規控模塊。每個模塊相對獨立，感知模塊給預測模塊提供動靜態障礙物信息；預測模塊為規控模塊提供規劃的參考，規劃再轉換為控制指令。從傳感器端到控制端，需要多個功能支持，這就不可避免導致了累積誤差，一旦碰到問題，需要整個pipeline做分析。而且每個模塊的優化，并不能保證整個系統達成最優解。

這個時候，就希望有一種模型能夠完成感知信息的無損傳遞，即從傳感器端到輸出控制策略端，這也是端到端自動駕駛提出的原因。傳統定義上感知和規劃模塊的對接一般是通過白名單（比如機動車、行人、甚至occ輸出的非通用幾何障礙物）的檢測與預測來完成，是人為定義的規則和抽象。隨著產品的迭代，每一次都需要添加各類case，設計各種博弈的策略，從模型訓練到工程部署再到邏輯設計，時間和人力成本高昂。

而且這種方式無法羅列所有情況，那么是否可以通過對整個場景的學習抽象，無損的將所有信息傳遞給PnC部分？這就是我們期望的端到端。端到端核心是優化最終目標且全局可導，作為一個完整的優化任務來看，直接求最優解，而不是先求感知再求規控的最優解。

端到端效果怎么樣？

今年各大自動駕駛公司都在預研和落地相關端到端方案，小鵬、蔚來、華為、理想也都對外展示了其端到端方案。由于端到端模型的優勢明顯，各大自動駕駛公司都在拼命布局攬人，對應崗位薪資水漲船高，某想甚至開出了七位數給到該崗位。

那么各家的端到端自動駕駛效果怎么樣呢？先來看看國外的特斯拉：

再來看看國內的UniAD效果：

不得不說，端到端是一個更簡約的方法，更具有全場景的優化能力。

端到端有哪些技術棧？

行業里面的端到端主要分為完全端到端方案、專注于planner的端到端方案（包括某鵬的XPlanner）。顧名思義，完全端到端是從傳感器直接到規控；而專注于planner的端到端以感知模塊的輸出作為先驗，替換原來以規則作為主要形式的PnC模塊。

從傳感器到控制策略的（如果把條件再放松下也可以到軌跡輸出）完全端到端方案更為簡約，但同樣面臨一個問題，可解釋性差。UniAD用分階段監督的方法逐步提高了可解釋性，但訓練仍然是個難題。在足夠體量和質量的數據群下，效果能夠得到保證，泛化性能也不錯。

而專注于planner的端到端方案，如果深究的話，只能算狹義上的端到端，但更貼合當下的量產方案和任務，而且可解釋性也較高，是目前主機廠和自動駕駛公司優先推行和落地的。

如果從信息輸入的角度上來看，又可以分為純視覺方案（UAD、UniAD這類）和多模態方案（FusionAD這類），傳感器成本不斷在下降，多模態方案也一直是行業里面都在關注的點。

端到端的難點在哪里？

端到端的優勢非常突出，但仍然有很多難點需要攻克。主要在于數據難定義、數據難制作、網絡不好訓練、模型不好解釋優化、評測定義多種多樣！很多公司無法像特斯拉一樣獲取海量數據，這也是個巨大的瓶頸。今年年中，自動駕駛之心收到了很多同學關于端到端實戰相關的需求，雖然我們已經籌備過相關的內容，但早期端到端方案不夠成熟，更多是以論文切入。工業界使用的方案關注較少，代碼層面上也很少提及。