本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

論文鏈接：https://arxiv.org/pdf/2410.15774
項(xiàng)目網(wǎng)頁：https://tsinghua-mars-lab.github.io/StateTransformer/
代碼開源：https://github.com/Tsinghua-MARS-Lab/StateTransformer

主要內(nèi)容：

大型實(shí)際駕駛數(shù)據(jù)集推動(dòng)了有關(guān)自動(dòng)駕駛數(shù)據(jù)驅(qū)動(dòng)運(yùn)動(dòng)規(guī)劃器的各個(gè)方面的研究，包括數(shù)據(jù)增強(qiáng)、模型架構(gòu)、獎(jiǎng)勵(lì)設(shè)計(jì)、訓(xùn)練策略和規(guī)劃器架構(gòu)。在處理復(fù)雜和少樣本情況下，這些方法有較好的表現(xiàn)。但是由于設(shè)計(jì)過于復(fù)雜或訓(xùn)練范式的問題，這些方法在規(guī)劃性能上的泛化能力有限。在本文中，我們回顧并比較了以前的方法，重點(diǎn)關(guān)注泛化能力。實(shí)驗(yàn)結(jié)果顯示，隨著模型的適當(dāng)擴(kuò)展，許多設(shè)計(jì)元素變得冗余。我們介紹了StateTransformer-2 (STR2)，這是一種可擴(kuò)展的、僅使用解碼器的運(yùn)動(dòng)規(guī)劃器，它結(jié)合了Vision Transformer (ViT) 編碼器和混合專家(MoE) 的Transformer架構(gòu)。MoE骨干通過訓(xùn)練期間的專家路由解決了模態(tài)崩潰和獎(jiǎng)勵(lì)平衡問題。在NuPlan數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，我們的方法在不同測試集和閉環(huán)模擬中比以前的方法具有更好的泛化能力。此外，我們評估了其在真實(shí)城市駕駛場景中的可擴(kuò)展性，顯示出隨著數(shù)據(jù)和模型規(guī)模的增長其一致的準(zhǔn)確性提升。

下面我們詳細(xì)解釋STR2的模型設(shè)計(jì)。我們選擇的不是向量化的輸入，而是柵格化圖片的輸入，可以方便進(jìn)行規(guī)模化訓(xùn)練。輸入還加入了聚類的軌跡作為引導(dǎo)線，結(jié)果可以看到在大曲率的場景表現(xiàn)會(huì)更合理一些。輸入經(jīng)過一個(gè)使用MoE架構(gòu)增強(qiáng)的Transformer模型，自回歸的方式輸出引導(dǎo)線類別，關(guān)鍵點(diǎn)以及軌跡。

ViT編碼器。我們采用僅解碼的ViT圖像編碼器，以實(shí)現(xiàn)更好的可擴(kuò)展性和性能，它由堆疊的12層Transformer組成。柵格化的圖像被切分成16個(gè)小塊。我們選擇GeLU作為ViT編碼器的激活函數(shù)。

Mixture-of-Expert。語言建模任務(wù)要求模型從復(fù)雜且通常具有統(tǒng)計(jì)爭議的專家數(shù)據(jù)獎(jiǎng)勵(lì)中學(xué)習(xí)和實(shí)現(xiàn)平衡。受MoE模型在語言建模任務(wù)上泛化結(jié)果的啟發(fā)，我們將GPT-2骨干網(wǎng)絡(luò)替換為MoE骨干網(wǎng)絡(luò)用于序列建模。MoE層通過專用內(nèi)核和專家并行（EP）提供了更好的內(nèi)存效率。我們還利用了Flash Attention2 和數(shù)據(jù)并行（DP）以提高訓(xùn)練效率。

自回歸。在生成序列中我們添加了聚類軌跡作為嵌入特征用于模態(tài)分類，并使用交叉熵?fù)p失。我們使用K-Means聚類，從0.7百萬個(gè)隨機(jī)選擇的動(dòng)態(tài)可行軌跡中按其時(shí)空距離提取了512個(gè)候選軌跡。每條歸一化的軌跡包括未來8秒的80個(gè)軌跡點(diǎn)（x, y和偏航角）。

liauto數(shù)據(jù)集上的規(guī)模化實(shí)驗(yàn)。我們采用了liauto數(shù)據(jù)集進(jìn)行了scaling law的探索，liauto數(shù)據(jù)集是一個(gè)工業(yè)級的超大規(guī)模現(xiàn)實(shí)世界駕駛數(shù)據(jù)集。該數(shù)據(jù)集包括車道級導(dǎo)航地圖和來自7個(gè)RGB攝像頭、1個(gè)LiDAR和1個(gè)毫米波雷達(dá)（MMWR）的傳感器設(shè)置的跟蹤結(jié)果。我們選擇了過去6個(gè)月內(nèi)收集的城市駕駛場景，其中沒有任何人工標(biāo)注。我們篩選出錯(cuò)誤的導(dǎo)航路線，因?yàn)檫@些路線與實(shí)際的未來駕駛軌跡不匹配。最終，我們將所有駕駛?cè)罩局匦抡頌殚L達(dá)10秒的訓(xùn)練和測試樣本，其中包括過去的2秒和未來的8秒。最終的訓(xùn)練數(shù)據(jù)集擁有超過1b訓(xùn)練樣本。實(shí)驗(yàn)結(jié)果（如圖2）可以看到隨著數(shù)據(jù)規(guī)模的增加以及模型參數(shù)的增加，test loss都有下降的趨勢。均衡考慮訓(xùn)練成本和收益的關(guān)系，我們最后采用的為800m的模型。

從圖3 nuplan閉環(huán)仿真的結(jié)果可以看到STR2取得了全面SOTA。結(jié)果來看專家軌跡的NR分?jǐn)?shù)較高，R的分?jǐn)?shù)卻很低，說明專家軌跡沒有一個(gè)適應(yīng)環(huán)境變化的能力，仿真環(huán)境和實(shí)車有一定的區(qū)別。結(jié)果可以看出PDM-Hybrid相比于其他的方法的R得分明顯高于NR，說明生成-評估的范式在模型泛化性能上表現(xiàn)優(yōu)異。我們借鑒了PDM的生成-評估范式，基于STR2模型的輸出結(jié)果進(jìn)行了候選軌跡生成，再經(jīng)過PDM打分器輸出得分最高的軌跡。

圖4可視化結(jié)果可以看出PDM-Hybrid軌跡因?yàn)榛诋?dāng)前車道中心線，沒有主動(dòng)變道和繞障的能力，我們的模型由于泛化性能強(qiáng)，所以很多場景下表現(xiàn)比PDM-Hybrid合理很多。本工作在nuplan testhard 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了生成-評估范式的合理性。對于生成-評估范式，在后續(xù)工作中我們還可以有更多嘗試，例如如何在模型層面輸出更合理的候選軌跡，如何將未來的不確定性考慮進(jìn)打分器中，同時(shí)可以考慮將本文的方法作為真值標(biāo)注的一種方式，幫助模型朝著更合理的方向迭代。為了感受模型的泛化性能我們將nuplan數(shù)據(jù)訓(xùn)練得到的模型直接應(yīng)用于liauto數(shù)據(jù)集上推理，結(jié)果表現(xiàn)良好，對于動(dòng)態(tài)障礙物的避讓交互等都有合理的輸出。