本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

原標題：MotionLM: Multi-Agent Motion Forecasting as Language Modeling

論文鏈接：https://arxiv.org/pdf/2309.16534.pdf

作者單位：Waymo

會議：ICCV 2023

論文思路：

對道路代理未來行為的可靠預測是自動駕駛車輛安全規劃的關鍵組成部分。在這里，本文將連續軌跡表示為離散運動tokens序列，并將多智能體運動預測作為該領域的語言建模任務。本文的模型 MotionLM 提供了幾個優點：首先，它不需要anchors或顯式潛變量(explicit latent variable)優化來學習多模態分布。相反，本文利用單一標準語言建模目標，最大化序列tokens的平均對數概率。其次，本文的方法繞過了 post-hoc 交互啟發法，其中個體代理軌跡生成是在交互評分之前進行的。相反，MotionLM 在單個自回歸解碼過程中生成交互式代理未來的聯合分布。此外，模型的順序分解可以實現時間上的因果條件的推出。所提出的方法在 Waymo Open Motion Dataset 上為多智能體運動預測建立了新的最先進性能，在交互式挑戰排行榜上排名第一。

主要貢獻：

本文將多智能體運動預測作為一種語言建模任務，在經過因果語言建模損失訓練的離散運動tokens上引入時間因果解碼器。

本文將模型中的采樣與簡單的 rollout 聚合方案配對，該方案有助于聯合軌跡的加權模式識別，在 Waymo Open Motion Dataset 交互預測挑戰中建立新的最先進性能（在排名聯合 mAP 指標上提高6% ）。

本文對本文的方法進行了廣泛的消融實驗，并對它的時間因果條件預測進行了分析，這在很大程度上是目前的聯合預測模型所不支持的。

網絡設計：

本文的目標是以一種通用的方式對多智能體交互上的分布建模，這種分布可以應用于不同的下游任務，包括最低限度的、聯合的和條件預測。這需要一個有表現力的生成框架，能夠捕捉到駕駛場景中的多種形態。此外，本文在這里考慮保存時間依賴性; 即，在本文的模型中，推理遵循一個有向無環圖，每個節點的父節點在時間上較早，子節點在時間上較晚，這使得條件預測更接近于因果干預[34]，因為它消除了某些虛假的相關性，否則就會導致不服從時間因果關系。本文觀察到，不保留時間依賴關系的聯合模型可能在預測實際agent反應方面的能力有限——這是規劃中的一個關鍵用途。為此，本文利用了未來解碼器的自回歸分解，其中代理的運動tokens有條件地依賴于所有先前采樣的tokens，并且軌跡按順序推出(rolled out)(圖2)。

圖1。本文的模型自回歸地為一組代理生成離散運動tokens序列，以產生一致的交互式軌跡預測。

圖2。MotionLM架構。

本文首先將與每個建模代理相關的異構場景特征(左)編碼為形狀R、N、·、H的場景嵌入。其中，R為首次推出(rollouts)的數量，N為聯合建模的代理數量，H為每次嵌入的維數。在推理過程中，為了并行采樣，本文在批量維度上重復嵌入R次。接下來，一個軌跡解碼器以一種時間因果的方式(中心)為多個代理推出(rolls out) T 個離散運動tokens。最后，通過使用非最大抑制初始化的k-means聚類的簡單聚合，可以恢復 rollouts 典型模式(右圖)。

圖3。展示了三個WOMD場景的前兩種預測聯合推出(joint rollout)模式。

顏色梯度表示從t = 0s到t = 8s的時間推移，聯合模式由綠色過渡到藍色，次聯合模式由橙色過渡到紫色的概率最大。觀察到三種類型的交互：相鄰車道中的智能體根據變道時間向變道智能體讓行（左），行人根據車輛的進度走在過往車輛后面（中），轉彎車輛要么給過路的騎車人讓路（最可能的模式），要么在騎車人接近之前轉彎（次要模式）（右）。

圖4。對于聯合推出(joint rollout)(左)、干預后因果貝葉斯網絡(中)和因果條件反射(右)的因果貝葉斯網絡表示。

實線表示時間上的因果相關性，而虛線表示因果信息流。沒有時間依賴約束的模型將支持因果條件作用，但不支持時間因果條件作用，這在試圖預測agent反應時可能是有問題的。

實驗結果：

引用：

Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534

原文鏈接：https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A