近年來，針對視覺感知系統(tǒng)安全性評估的探索逐步深入，先后有研究者成功實現(xiàn)基于眼鏡、貼紙、衣服等不同載體的可見光模態(tài)安全評估技術，也有一些針對紅外模態(tài)的新嘗試。但是它們都只能作用于單一模態(tài)。

隨著人工智能技術的發(fā)展，可見光 - 熱紅外成像技術已同時應用于治安監(jiān)控、自動駕駛等諸多安全關鍵任務中，其中可見光成像可以在白天提供豐富的紋理信息，紅外成像則可以在夜間清晰顯示目標的熱輻射分布，二者結合更為視覺感知系統(tǒng)帶來 24 小時全覆蓋和不受環(huán)境局限等諸多優(yōu)勢。因此，針對多模態(tài)視覺感知系統(tǒng)的統(tǒng)一安全評估方法也亟須研究。

然而，實現(xiàn)多模態(tài)評估極具挑戰(zhàn)性。首先，在不同成像機制下打擊方法通用難。以前的方法都分別基于特定目標模態(tài)成像特點提出，在其他模態(tài)下很難起到作用。再者，平衡隱身性能、制作成本和靈活應用難。對于可見光和更難的紅外模態(tài)雙重有效已是不易，實現(xiàn)低成本便捷制作與使用更是難上加難。

面對諸多挑戰(zhàn)，來自北航人工智能研究院的研究者挖掘可見光 - 紅外模態(tài)間通用的形狀屬性，創(chuàng)新性地提出 「跨模態(tài)通用對抗補丁」，實現(xiàn)可見光 - 紅外同步隱身。其遴選易獲取、成本低、隔熱性能優(yōu)異的材料制作便捷貼片，即拆即用，在填補當前物理世界可見光 - 紅外多模態(tài)檢測系統(tǒng)魯棒性評估技術缺失的同時，兼顧物理實現(xiàn)的簡易性與即時性。實驗證明了該方法在不同檢測模型與模態(tài)下的有效性，以及多場景下的泛化性。目前，該論文已被 ICCV 2023 接收。

論文鏈接：https://arxiv.org/abs/2307.07859

代碼鏈接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技術要點

該研究以進化算法為基礎框架，立足形狀建模、形狀優(yōu)化、模態(tài)平衡三個角度進行方案設計與效果改進，具體流程如圖所示：

1. 基于樣條插值的多錨點形狀建模

對于基礎形狀建模部分，研究人員設計點優(yōu)化建模新范式，其可通過改變點坐標直接調整補丁形狀，此過程中錨點的運動不會受方向、距離等限制，有效增大了補丁形狀的搜索空間。在此基礎上，為了確保形狀自然性，其還利用樣條插值方法實現(xiàn)平滑連接，樣條會更緊密地跟隨控制點。

2. 基于差分進化的邊界限定形狀優(yōu)化算法

實現(xiàn)打擊需要有效的優(yōu)化手段，為此研究人員從時間成本、實際效果等角度考量，以進化算法作為基本框架，并從邊界設定、適應度函數(shù)兩個角度改進：

（1）邊界設定：針對錨點進行邊界設定提高形變有效性，降低時間成本。其具有以下設定：不會在曲線段內形成循環(huán)或自交；在曲線段內不容易出現(xiàn)尖點；不會出現(xiàn)在無效區(qū)域。 

以錨點為例，下圖藍色部分為邊界設定圖例，橙色部分為錯誤實例：

關于錨點的邊界判定  數(shù)學表達如下所示：

（2）適應度函數(shù)：不同于前人工作僅針對于單個模態(tài)進行打擊評估，本文工作聚焦于可見光 - 紅外兩個模態(tài)，天然存在平衡模態(tài)效果差異的問題。因此為了避免走向易優(yōu)化單一模態(tài)極端，研究人員創(chuàng)新性提出了基于檢測器置信度得分感知的跨模態(tài)適應度函數(shù)，鼓勵探索成功方向的同時平衡兩模態(tài)效果差異，最后根據(jù)評分優(yōu)勝劣汰。考慮到初始階段和后期階段打擊難度的不同，其使用指數(shù)函數(shù)代替線性函數(shù)，更加突出不同階段打擊進度的差異性。

算法迭代該探索過程直至兩模態(tài)都打擊成功，輸出最優(yōu)形狀策略。完整優(yōu)化流程如下所示：

實驗結果

實驗一：針對不同系列檢測器的跨模態(tài)打擊性能驗證

實驗二：針對形狀的消融實驗

實驗三：針對跨模態(tài)適應度函數(shù)的消融實驗

實驗四：物理實施偏差下的方法魯棒性驗證

實驗五：不同物理條件下的方法有效性驗證

不同角度、距離、姿勢、場景下的性能驗證可視化結果

總結

本文工作以自然形狀優(yōu)化為核心，將形變補丁與跨模態(tài)打擊相結合，設計了一種物理環(huán)境下可見光 - 紅外多模態(tài)魯棒性評估方法。該方法可對多模態(tài)（可見光 - 紅外）目標檢測系統(tǒng)的魯棒性進行評估，根據(jù)評估結果有效修正檢測器模型，同時提高可見光、紅外兩種模態(tài)下目標圖像檢測的準確性，在物理環(huán)境下做到真正的可實施、可應用，為多模態(tài)檢測系統(tǒng)的魯棒性評估與改進作出貢獻。