arXiv論文“Insertion of real agents behaviors in CARLA autonomous driving simulator“，22年6月，西班牙。

由于需要快速prototyping和廣泛測(cè)試，仿真在自動(dòng)駕駛中的作用變得越來越重要。基于物理的模擬具有多種優(yōu)勢(shì)和益處，成本合理，同時(shí)消除了prototyping、駕駛員和弱勢(shì)道路使用者（VRU）的風(fēng)險(xiǎn)。

然而，主要有兩個(gè)局限性。首先，眾所周知的現(xiàn)實(shí)差距是指現(xiàn)實(shí)和模擬之間的差異，阻礙模擬自主駕駛體驗(yàn)去實(shí)現(xiàn)有效的現(xiàn)實(shí)世界性能。其次，缺乏關(guān)于真實(shí)智體（人類）行為的實(shí)證知識(shí)，包括后補(bǔ)司機(jī)或乘客以及其他道路使用者，如車輛、行人或自行車手。

智體模擬通常是預(yù)編程確定、概率隨機(jī)或基于真實(shí)數(shù)據(jù)生成的，但并不表示與特定模擬場(chǎng)景交互的真實(shí)智體行為。本文提出一個(gè)初步框架，實(shí)現(xiàn)真實(shí)智體和模擬環(huán)境（包括自主車輛）之間的實(shí)時(shí)交互，并從多個(gè)視圖的模擬傳感器生成合成序列數(shù)據(jù)，用于訓(xùn)練依賴行為模型的預(yù)測(cè)系統(tǒng)。

該方法將沉浸式虛擬現(xiàn)實(shí)（VR）和人體運(yùn)動(dòng)捕捉（HMC）系統(tǒng)與CARLA集成，用于自動(dòng)駕駛。其中描述硬件和軟件架構(gòu)，并討論所謂的行為差距。

如圖所示是該方法概覽：（1） CARLA- UE配有頭部（VR耳機(jī)）和身體（動(dòng)作捕捉系統(tǒng)）姿勢(shì)。（2） 生成場(chǎng)景，包括自動(dòng)駕駛車輛和數(shù)字化的行人。（3） 為行人提供環(huán)境（通過VR耳機(jī)）。（4） 自動(dòng)車輛傳感器感知環(huán)境，包括行人。

下面介紹CARLA自動(dòng)駕駛模擬器中浸入式VR系統(tǒng)的功能。

通過利用UE4提供的功能和外部硬件（如VR眼鏡和一組運(yùn)動(dòng)傳感器）進(jìn)行行為和交互研究，實(shí)現(xiàn)完全行人浸入。

CARLA開源模擬器是在UE4上實(shí)現(xiàn)的，UE4提供了高質(zhì)量的渲染、逼真的物理環(huán)境和互操作插件的生態(tài)系統(tǒng)。CARLA模擬動(dòng)態(tài)交通場(chǎng)景，并提供UE4創(chuàng)建的虛擬世界與場(chǎng)景內(nèi)運(yùn)行的道路智體之間的接口。CARLA被設(shè)計(jì)成一個(gè)服務(wù)器-客戶端系統(tǒng)來實(shí)現(xiàn)這一點(diǎn)，服務(wù)器運(yùn)行模擬程序并渲染場(chǎng)景?？蛻舳撕头?wù)器之間的通信通過sockets完成。

在模擬中插入真實(shí)智體行為的主要特征基于五點(diǎn)（如圖所示）：1）Avatar控制：CARLA blueprint庫，收集所有角色和屬性的架構(gòu)，修改行人blueprint，在人和虛擬世界之間創(chuàng)建浸入可移動(dòng)的VR界面；2） 身體跟蹤：用一組慣性傳感器和專有的外部軟件通過真實(shí)場(chǎng)景捕捉主體運(yùn)動(dòng)以及運(yùn)動(dòng)感知，通過.bvh文件將Avatar的運(yùn)動(dòng)集成到模擬器中；3） 聲音設(shè)計(jì)：由于CARLA是一個(gè)無音頻模擬器，在環(huán)境中引入位置聲音，增強(qiáng)沉浸感；4） eHMI集成：實(shí)現(xiàn)自動(dòng)駕駛車輛狀態(tài)和意圖信息的通信，做交互研究；5） 場(chǎng)景模擬：在CARLA客戶端內(nèi)設(shè)計(jì)交通場(chǎng)景，控制車輛和行人的行為。

道路使用者之間的通信是交通環(huán)境中的一個(gè)重要因素。實(shí)驗(yàn)中為自動(dòng)駕駛車輛提供了外部人機(jī)界面（eHMI），將其狀態(tài)和意圖傳達(dá)給實(shí)際道路使用者。

如圖所示，提出的eHMI設(shè)計(jì)由沿汽車前部的光帶組成。左圖無eHMI，右圖帶eHMI。這可以研究當(dāng)行人軌跡與虛擬場(chǎng)景車輛軌跡匯聚時(shí)，界面對(duì)決策的影響。

整個(gè)系統(tǒng)架構(gòu)如圖：

CARLA提供了不同的選項(xiàng)來模擬交通和特定的交通場(chǎng)景。用交通管理模塊填充具有真實(shí)城市交通狀況的模擬。每輛車的控制在特定線程執(zhí)行。通過同步消息傳遞管理與其他層的通信。

通過設(shè)置強(qiáng)制特定行為參數(shù)來控制交通流。例如，可以允許汽車超速、忽略紅綠燈條件、忽略行人或強(qiáng)制改變車道。

主體集成到包括一個(gè)城市3-D模型地圖的模擬器。每個(gè)地圖都基于一個(gè)OpenDRIVE文件，描述完整注釋的道路布局。該功能允許設(shè)計(jì)自己的地圖，在真實(shí)和虛擬環(huán)境中再現(xiàn)相同的流量場(chǎng)景，評(píng)估模擬器真實(shí)行為的集成，并能夠通過比較交互結(jié)果來進(jìn)行現(xiàn)場(chǎng)研究。

硬件設(shè)置如圖：在實(shí)驗(yàn)過程中，用Oculus Quest 2作頭戴式設(shè)備（HMD），Meta創(chuàng)建，6GB RAM處理器、兩個(gè)可調(diào)1832 x 1920透鏡、90Hz刷新率和256 GB的內(nèi)存。Quest 2具有Wi-Fi 6、藍(lán)牙5.1和USB Type-C連接、SteamVR支持和3D揚(yáng)聲器。對(duì)于全身跟蹤，用帶有慣性跟蹤器的PNS封裝解決方案。該套件包括獨(dú)立的VR耳機(jī)、2個(gè)運(yùn)動(dòng)控制器、17個(gè)Studio慣性人體傳感器、14組straps、1個(gè)充電箱和1個(gè)Studio收發(fā)器。

由于CARLA build和Quest 2僅依賴Windows，VR Immersion System目前依賴UE4.24和Windows 10操作系統(tǒng)。用TCP sockets插件，編輯器的所有參與者位置和其他有用參數(shù)從Python API發(fā)送，集成每個(gè)參與者的聲音或自動(dòng)駕駛車輛的eHMI。”VR Preview”在HMD啟動(dòng)游戲。Perception Neuron Studio與Axis Studio合作，Axis Studio一次支持最多3個(gè)主題，同時(shí)支持23個(gè)身體和手指?jìng)鞲衅鳌?/p>

如圖是交互交通狀況的模擬：（a） 3D世界設(shè)計(jì)。（b） 行人匹配執(zhí)行者Avatar。（c） 自動(dòng)駕駛汽車。（d） 環(huán)境聲音和智體聲音。（e） eHMI。（f） 交通燈和交通標(biāo)志。