自動駕駛系統架構轉變思考
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
自動駕駛系統架構轉變思考
從事輔助駕駛系統架構一段時間后，感覺到了疲憊和無力感，更加深刻的理解到道德經，道生于有，有生于無，有無相生，難易相承，.....是以圣人處無為之事，行不言之教，萬物作焉而不辭，生而 不有，為而不恃，功成而弗居。系統可大可小，猶如上善若水，利萬物不爭，才能成其大。
推動算法系統體系的進行正向開發，最大的挑戰在于，1. 自己的專業廣度和深度；2. 協調推動能力，二者都是很大的挑戰，尤其是1 不甚具備同時，去實現2。共性的痛點就是，專業部門不配合你，專業部門之間天然的矛盾，業務需求和自己能力之間的矛盾。對我來說，所有技術部門TD，研發人員都很熟悉，溝通上都沒有太多的障礙，但是系統架構的推動，只有自己親自去現場，溝通推動，才能進行，一旦按照體系或者指標要求等，分工各個專業并行去展開，然后再匯總review，幾乎寸步難行，要么沒有know how，那么感覺你越界了，并不想配合，面聊只是出于禮貌而已。但是這么大的體系，單靠一兩個人肯定是獨立難支。至此，我回想前同事臨走前說的一句話，輔助駕駛算法部是否真的需要系統架構，或者說需要我認為的所謂的系統架構的體系。在這個行業大家說的更多的是第一性原理，剛好我也看過硅谷鋼鐵俠。
縱觀特斯拉的歷程，抹掉特斯拉這個人物，去看歷程，就是一個毫無體系敏捷開發，走一步是一步，太過技術化，游走的破產邊緣的很不正規的公司，只能說成王敗寇，毫無體系可研。教員的實踐論和矛盾論，教導我們，要抓住事物的主要矛盾和矛盾的主要方面，要在實踐中檢驗理論。特斯拉能夠成功的關鍵在于，特斯拉本人就是公司的體系，冒險，但是決策正確，且果斷堅持。中共的艱辛歷程，其實和特斯拉有異曲同工之處。所以說，一個公司或者部門要么中央集權，要么體系化，換句話說如果公司沒有體系化，猶如外企，鐵打的體系，流水的兵，任何人的變動不影響企業發展，要么中央集權，領導或者領導層有運籌帷幄的能力。
很多現在自動駕駛公司，其實都在經歷類似特斯拉的過程，在沒有特斯拉能力，也不具備體系建設條件下，如何做好系統架構，是令我很頭疼的事情，系統很重要，但是推不動，等到各方面都成熟穩定了，然后反向進行體系建設，好像又沒有太大的必要。
在不具備職責的情況下，又不想做親力親為的老黃牛，還想做成這個事情，這是一個社會哲學的問題，生而 不有，為而不恃，功成而弗居，行事上善若水，順勢而為。說人話就是，不要過分追求結果，追求體系，結合實際情況，不是自頂而下推動，而是在這個know how下，以點到面的，逐步引導并填滿這個框架。潛移默化量變到質變。關鍵是是否愿意如此做事？
另外一個更重要的事情，就是端到端的沖擊，算法的底層邏輯變了，系統之間的性能拆解也變了，系統如何做好這個轉型，也是現在的焦慮點。底層邏輯變了，但是頂層功能邏輯不變，用戶端是無感的，功能產品要求是一樣的，點剎，畫龍等問題點也是不變的，感知，規控等雖然最后一體化，但是內部的影響鏈路是不變的，變的技術邏輯帶來的優缺點變了，比如車道線的跳變對最后軌跡的影響，傳統的方式有濾波，平滑，規則等后處理的鏈路，模型本質上來說也是一個非線性的濾波，不同的是這兩個濾波器處理優勢不一樣，對于跳變等濾波器只能在有限邊界處理，且無法泛化，但是模型對這種跳變等有天然的過濾能力，非線性很強，那么對于感知輸出的這類跳變或者對應的中間變量，下游模型就可以cover或者過濾掉。所以對于算法架構，轉型只要抓住技術的本質，思維體系是相對比較容易轉變的。但是對基礎理論的補充，依舊是需要認真學習的。
粗鄙的思考，不成體系，然行業變革迅猛，如何抓住不變的道，去適應快速術的發展，其實就是所謂的第一性原理？后續會持續更新，進階端到端系統架構之路
大事成于細，難事成于易
天行健，君子自強不息
勝人者有力，自勝者強
共勉！
端到端的自動駕駛系統架構思考-2
以uniad為例，聊一聊端到端模型下，系統架構工程師如何發揮自己重要角色，一方面uniad開創性的提出了以planning為導性的網絡模型，這也是模型由開環到閉環的重要轉變，另一方面，保留了傳統各個技術模塊顯性輸出，分析框架上，大家也比較熟悉。系統工程師都比較清楚，性能&問題拆分都是從規控執行側逐步往上拆分，所以uniad可以說是二者的一個混合中間過渡階段，是進行一些思考不錯的參考方案
對uniad不熟悉的同學可以先從這里了解 端到端自動駕駛Uniad詳細講解 - 知乎 (zhihu.com)
首先，我們先從目前系統架構的工作職責，審視一下基于網絡架構的變和不變的
不變的是
- 用戶是無感的：產品體驗是不care 技術的
- 功能邏輯是不變的：adas還是adas，NOA 還是NOA，該降級還得降級
- 法規行業標準是不變的：這個不贅述了
- 安全冗余依舊是要求的
變的是
- 功能要求不變，但是功能實現邏輯變了
- 如何滿足功能邏輯，比如激活，退出功能，變道時間，導航信息，人機交互策略等如何重新適配
- 故障診斷如何實現：比如車道線不清楚，如果沒有車道線的輸出如何判斷，或者模型對車道線的容忍度高了，怎么量化和標定
- 如何確定性能邊界：傳統規則 60km/150m 彎道即可確定性能邊界ok，基于網絡的是否可以
- 安全冗余等要求：planning的冗余邏輯，lidar& rader&視覺的冗余可靠性怎么設計和驗證，暫時無思路
- 性能指標變了，但是又沒變
- 整個網絡，但是依舊有感知，規控等技術模塊獨立鏈接，可以分開調試，這是不變的
- 變的是拆解到各個網絡，關注的元素變了，元素的性能要求變了，上下游的影響鏈路變了
- 變得是如何魯棒性驗證，比如延遲的影響分析，現在一個網絡直接級聯過-去........
- 重點引入感知信息的無損傳遞，然而有無損傳遞，就要求下游有效的過濾和篩選
- 迭代優化&拆解方式變了
- 如何debug問題：從Control-planning-decision&prediction-perception的鏈路，肯定是變了
- 如何優化問題且保證問題解決有效性：基于規則的邏輯和性能，是可確定性分析驗證的，且對其他模塊影響也是可分析和可控的，但是基于網絡的，解釋性差，如何驗證問題優化不會對其他模塊帶來負面影響
- 主要矛盾的轉變
不變的就是我們的基礎能力，重點來闡述變在哪里，以及如何變，畢竟唯一不變的東西就是變化，那么好，我們就要抓住主要矛盾和矛盾的主要方面
- 主要矛盾轉變，基于規則的優化算法變為數據驅動的網絡模型，也就是基于數學方法論論證的設計方式，轉變為數據驅動的模型擬合！本質上說是可論證方法變為實驗驗證的方法
- 矛盾的主要方面
- 數據代替人的建模能力，依賴數據和算力暴力擬合或者學習
- 信息的無損傳遞，其實就是線性化到非線性的轉變，規則大部分都只適合線性系統，EKF、 QP求解等大部分都是非線性系統進行線性化處理，非線性系統的低維線性化必然會帶來損失，而模型本質就是高維擬合和分類，天然優勢就在非線性系統
- 閉環論證變為經驗開環擬合(學習)為主，經驗開環底層邏輯為注意力機制
那么好，本質上來說，是只要歷遍ODD內的所有場景，二者都可以設計出符合預期的產品，現實情況是規則根據自己的邊界設計ODD，模型通過數據拓展ODD，規則的ODD是上限， 模型的ODD是數據
進入正題，就從矛盾的主要方面對uniad進行系統性分析
- 無損傳遞&有效濾除：要實現高維信息的無損傳遞到決策，再有效濾除到執行端，其實挑戰在決策規劃，最終的執行器是兩維信息，高維無損信息傳遞給決策規劃，信息是無損了，但是更多的是無效信息，無損隱藏的要求是更多的信息給你，性能應該更好，這就對下游帶來更大的挑戰。本質上來說模型就是一個類似人的注意力的非線性分類和濾波器，舉個例子說走路上，大部分的環境你是沒印象的，甚至你會盯著某個短裙長腿妹很長時間，甚至娃名字都想好了，但是不影響你安全通過路口。
- 無損傳遞并不是降低感知的性能要求，只是對感知的要求有變化，更意味者決策規劃要進一步挖掘感知和自身的能力，釋放整個系統潛力
- 既然感知是無損傳遞，決策規劃是后處理，依然有這個劃分，那么雙方依舊需要一些性能指標的拆分
- 既然留了傳輸接口和可視化，那么元素和性能現階段我們依舊需要或者可以列出來，逐步迭代
- 感知無損傳遞
- 重新定義無損：何為無損，足夠下游做正確的決策需要信息傳達下去即為無損，對下游無用的信息即為噪聲，所以是何為無損，夠不夠損，依舊跟下游模型策略有關系
- 元素：屬性是否足夠，比如障礙物六自由度信息，長寬高等，障礙物是否還需要其他信息
- 范圍：是否整個探測區域范圍元素要求都需要無損？還是不同場景重點關注場景不一樣，比如擁堵路鄰鄰車道車根本就不care
- 性能：所有范圍內的障礙物的性能要求都一樣嗎
- 整體關聯性：車輛&車輛、車輛&車道線&路沿、自車&他車相對位置關系組成的整體觀感，這是無損很重要的一個點，或者說如何學習和理解整個交通流，才是端到端的關鍵能力
- 聚焦點
- 逆向推演，如果有最終的決策執行，反向拆分到感知，其實能得到對整個決策有影響的只是感知的部分區域和信息
- 感知給出完備的元素，相互關系，但是不同距離的性能可以降低
- 規控需要解決的是各種注意力機制提升非線性擬合能力和判斷能力，彌補感知無法給出視角范圍內足夠精準穩定的局限性，提升魯棒性
- 規控要有基于自身視覺的場景理解能力，能夠在無效噪聲信息中，利用多方信息交叉驗證，提取有效信息，實現更高的性能天花板的同時具備魯棒性，比如在傳統規則后處理試圖對障礙物通過交通流的物理特性進行校驗和濾波，發現幾乎不現實，但是如果用模型的話，可以天然融入處理好
- 決策規劃的后處理
- 閉環穩定性：開環和閉環穩定有本質的差別
- 控制出身的同學都知道，即使很輕微的正反饋的干擾，也會導致系統逐漸發散，大家都經歷過，上車調試前看規劃曲線很正常，但是一閉環就畫龍，開環的評測和閉環反饋是有本質區別的，也是端到端必然面臨的挑戰
- 閉環鏈路
- 預測&決策&規劃&控制的閉環影響依舊是存在的，預測會影響決策，規劃和控制的穩定性也會影響決策，這是基本的穩定鏈路環路，核心點還是決策，既要保證順序傳遞鏈路決策的合理性，即規劃執行合理舒適無風險，又要隨時準備規劃或者預測異常時，能夠足夠快進行調整。這是基本的能力，在這個基礎上，需要考慮博弈和交互等更加復雜的場景，這些在網絡設計中依然是重點要考慮的
- 閉環理論分析&數據驅動的融合遷移
- 如何從現在感知(開環)的訓練和評測遷移到感知到規劃&控制的閉環，也是難點之一，以往的數據遮擋、或者異性特征，都可以從測評直接得出，但是感知到規劃，如何驗證閉環的穩定性，從工具和評測都會有很大差異
- 控制執行連續穩定和安全性
- 如何訓練出適合控制器執行的軌跡，也就是整個端到端的輸出，疊加規則和后處理也好，但是最好在網絡里面有這個注意力機制起作用，能夠從原理上有約束力，然后依舊需要規則的安全 校驗
- 控制端最好也針對軌跡的新特性做一定的調整，依舊是一個系統工程，沒有理上游底層算法特性變了，輸出軌跡沒有任何改變
- 核心點，還是軌跡的連續性和穩定性和安全性，需要規劃和控制系統性優化
- 模型輸出軌跡，是不知道控制需求的，這個需要將控制的需求體現在訓練里面
- 控制關心的軌跡的長度
- 控制需要軌跡的連續性如何體現
- 控制關心的軌跡點上各個元素的精度，模型如何體現精度
- 是否需要增加一個適配層，做一些濾除和調整，實現更好的閉環？
- 控制算法，是否參考模型特性，是否可以更類人
- 人類駕駛習慣
- 大概率第一階段還是要延續現有的方法論
- 如何設計合理和驗證的整體閉環穩定性（目前對模型的技術基礎尚不了解，提出問題待日后完善）
- 預測決策規劃的新特性
- 需要知道控制跟蹤軌跡是否正常
- 對uniad 工程量產落地進行系統工程分析
- 開環&閉環問題
- uniad 是開環驗證，如圖，每次軌跡都從車身原點出來，每次更新都重新刷新軌跡，沒有歷史的連續性，控制無法進行穩定閉環跟蹤。控制是一個物理過程，是時間維度的連貫性，舉個簡單的例子，跟蹤有誤差，控制需要有誤差積累的反饋然后動態調整，如圖所示的軌跡，顯然達不到。之所以開環看起來很穩定，每次循環都刷新軌跡，只能保證單次合理性，能夠看起來合理是因為駕駛員本身做了正確的操作，只是駕駛員操作的單次映射而已。
- 參考 開環端到端自動駕駛：從入門到放棄 - 知乎 (zhihu.com)：不受到累計誤差的影響。再難的路, 0.5s后 human driver總會給你正確答案
- 關于ego status：英偉達最新！CVPR 2024 | 開環端到端自動駕駛中自車狀態(Ego Status)是你所需要的一切嗎？- 知乎 (zhihu.com)：該文章不敢茍同，沒有了圖像輸入，依舊有軌跡輸出，應該反思的不是用不用ego status，而是訓練驗證方法論的問題，很明確的一個點，ego status是必須要有的，分歧點或者難點是如何使用他。腿不好不要嫌棄路不平
- 軌跡問題
- 控制需要連續的軌跡去跟蹤，這塊可以參考傳統adas基于車身坐標系下的軌跡的拼接和stich的原理
- 如圖所以uniad訓練出來的軌 跡是不合理的折線
- 實際訓練其實是可以參考自車走過的路徑的，將未來一段時間的自車軌跡標定出來進行訓練
- 上下游拆解
- 最好是復用現有的感知的能力，所謂的無損信息傳遞，并非是現有的接口信息不需要，而是遠遠不夠
- 預測與感知障礙物輸出合并，進一步節省資源
- 去掉或者大幅減少感知后處理，包括障礙物和車道線等，不要阻擋無損傳遞的通路
- 可以認為模型有自己的整體關聯性視感：更多的關注車道線&障礙物的相對關系，障礙物等交通流的相對關系、道路結構拓撲圖的結構關系
- 決策規劃要降維濾除無效信息的能力
- 無損信息提取，擁有整體視感閱讀能力和聚焦能力，也就是如何發揮注意力機制，從整體視感上，抓住重點信息
- 從感知到出規劃軌跡，是有更明顯的時空關聯關系，最終輸出是低緯度有約束的信息，從控制角度來說是多輸入單輸出系統，意味著存在更多冗余信息可以交叉驗證，是挑戰也是挖掘潛力的重要的點。
- 高維噪聲的評估和過濾能力，比如高頻和偶發的車道線和障礙物的抖動，現有濾波處理會帶來刻板畫龍或者點剎，模型我相信會有更好處理能力
- 對輸入指令分類處理能力，如何設計，人類其實就有很強的分類組合能力
- 實例化描述
- 障礙物直接輸出帶3條預測軌跡，帶概率，將預測跟感知信息一同處理能夠盡可能的損失預測的信息
- 障礙物的性能指標在不同的距離和相對位置關系的要求可以進一步下降，下游通過綜合無損信息和噪聲信息進行濾除
- 車道線也可以允許一定的抖動
- 決策規劃要求
- 對上游的高頻噪聲要有足夠的魯棒性
- 傳統的單點濾波：障礙物前高頻小幅跳動，偶發一幀跳變，速度，加速度，位置的白噪聲不敏感
- 不同場景有聚焦區域：能夠有意訓練出真正影響功能的區域，重點關注
- 關聯性濾除：無關緊要的障礙物濾除，比如鄰鄰車有個橫向位置，這種就直接不管；能夠根據周圍車交通流將不符合物理規律的異常檢測濾除
- 關聯性優化&魯棒&泛化：根據障礙物&車道線&路沿等，綜合安全和靈活性給出合理的軌跡
- 輸出要求
- 障礙物車道線的高頻噪聲&跳動在軌跡層面徹底濾除
- 符合車輛的物理特性，低頻特性
- 軌跡是連續的，跟車身解耦的，且車身畫龍等非預期時，依舊是一個解耦車身且車輛有能力跟蹤
- 數據&訓練：konw how 不夠 hold
- 魯棒性驗證問題：hold
通過對uniad在沒有網絡模型的基礎上，從系統工程的角度進行了一些思考，分析出一些認為關鍵的或者不同的方案迭代要注意的設計要點，接下來會進一步學習逐漸完善系統工程的分析、閉環和驗證工作:
- transformer、注意力機制等底層的模型網絡
- 數據標注&訓練&評測流程
- 模型的設計和調試機理
- 決策&規劃的模型如何設計
- 模型閉環的安全&魯棒性如何驗證和保證
- 對uniad進行閉環量化的分析
- 進一步評估其工程落地能力
心得補充：
人為什么開新車也很熟練：
因為人其實是三重冗余：學習的開環經驗，開環經驗的微調， 緊急異常執行
比如開新車過彎道
- 按照經驗打一個角度基本上就能過，這就是習慣，或者程序化的
- 發現新車不一樣，需要微調一下，這就是人的泛化或者魯棒能力，其實是另外一套監控體系
- 再然后發現這車太不一樣了，要撞馬路牙子了，會條件反射猛打，這屬于安全機制
- 對應到車上就是adas&AES，但是少adas的冗余監控，這恰恰是用網絡模型我們要思考的
- 這套體系在控制系統叫做復合控制
