近年來，針對視覺感知系統安全性評估的探索逐步深入，先后有研究者成功實現基于眼鏡、貼紙、衣服等不同載體的可見光模態安全評估技術，也有一些針對紅外模態的新嘗試。但是它們都只能作用于單一模態。

隨著人工智能技術的發展，可見光 - 熱紅外成像技術已同時應用于治安監控、自動駕駛等諸多安全關鍵任務中，其中可見光成像可以在白天提供豐富的紋理信息，紅外成像則可以在夜間清晰顯示目標的熱輻射分布，二者結合更為視覺感知系統帶來 24 小時全覆蓋和不受環境局限等諸多優勢。因此，針對多模態視覺感知系統的統一安全評估方法也亟須研究。

然而，實現多模態評估極具挑戰性。首先，在不同成像機制下打擊方法通用難。以前的方法都分別基于特定目標模態成像特點提出，在其他模態下很難起到作用。再者，平衡隱身性能、制作成本和靈活應用難。對于可見光和更難的紅外模態雙重有效已是不易，實現低成本便捷制作與使用更是難上加難。

面對諸多挑戰，來自北航人工智能研究院的研究者挖掘可見光 - 紅外模態間通用的形狀屬性，創新性地提出 「跨模態通用對抗補丁」，實現可見光 - 紅外同步隱身。其遴選易獲取、成本低、隔熱性能優異的材料制作便捷貼片，即拆即用，在填補當前物理世界可見光 - 紅外多模態檢測系統魯棒性評估技術缺失的同時，兼顧物理實現的簡易性與即時性。實驗證明了該方法在不同檢測模型與模態下的有效性，以及多場景下的泛化性。目前，該論文已被 ICCV 2023 接收。

論文鏈接：https://arxiv.org/abs/2307.07859

代碼鏈接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技術要點

該研究以進化算法為基礎框架，立足形狀建模、形狀優化、模態平衡三個角度進行方案設計與效果改進，具體流程如圖所示：

1. 基于樣條插值的多錨點形狀建模

對于基礎形狀建模部分，研究人員設計點優化建模新范式，其可通過改變點坐標直接調整補丁形狀，此過程中錨點的運動不會受方向、距離等限制，有效增大了補丁形狀的搜索空間。在此基礎上，為了確保形狀自然性，其還利用樣條插值方法實現平滑連接，樣條會更緊密地跟隨控制點。

2. 基于差分進化的邊界限定形狀優化算法

實現打擊需要有效的優化手段，為此研究人員從時間成本、實際效果等角度考量，以進化算法作為基本框架，并從邊界設定、適應度函數兩個角度改進：

（1）邊界設定：針對錨點進行邊界設定提高形變有效性，降低時間成本。其具有以下設定：不會在曲線段內形成循環或自交；在曲線段內不容易出現尖點；不會出現在無效區域。 

以錨點為例，下圖藍色部分為邊界設定圖例，橙色部分為錯誤實例：

關于錨點的邊界判定  數學表達如下所示：

（2）適應度函數：不同于前人工作僅針對于單個模態進行打擊評估，本文工作聚焦于可見光 - 紅外兩個模態，天然存在平衡模態效果差異的問題。因此為了避免走向易優化單一模態極端，研究人員創新性提出了基于檢測器置信度得分感知的跨模態適應度函數，鼓勵探索成功方向的同時平衡兩模態效果差異，最后根據評分優勝劣汰。考慮到初始階段和后期階段打擊難度的不同，其使用指數函數代替線性函數，更加突出不同階段打擊進度的差異性。

算法迭代該探索過程直至兩模態都打擊成功，輸出最優形狀策略。完整優化流程如下所示：

實驗結果

實驗一：針對不同系列檢測器的跨模態打擊性能驗證

實驗二：針對形狀的消融實驗

實驗三：針對跨模態適應度函數的消融實驗

實驗四：物理實施偏差下的方法魯棒性驗證

實驗五：不同物理條件下的方法有效性驗證

不同角度、距離、姿勢、場景下的性能驗證可視化結果

總結

本文工作以自然形狀優化為核心，將形變補丁與跨模態打擊相結合，設計了一種物理環境下可見光 - 紅外多模態魯棒性評估方法。該方法可對多模態（可見光 - 紅外）目標檢測系統的魯棒性進行評估，根據評估結果有效修正檢測器模型，同時提高可見光、紅外兩種模態下目標圖像檢測的準確性，在物理環境下做到真正的可實施、可應用，為多模態檢測系統的魯棒性評估與改進作出貢獻。