arXiv論文“CARLA-GEAR: A Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models“，22年6月，意大利。

本文介紹CARLA-GEAR，這是一種自動(dòng)生成照片真實(shí)感合成數(shù)據(jù)集的工具，可用于系統(tǒng)評(píng)估NN對(duì)物理對(duì)抗patches的對(duì)抗魯棒性，比較不同對(duì)抗防御/檢測(cè)方法的性能。該工具構(gòu)建在CARLA模擬器上，用Python API在自動(dòng)駕駛環(huán)境中為多個(gè)視覺任務(wù)生成數(shù)據(jù)集。生成的數(shù)據(jù)集包含的對(duì)抗patches貼到廣告牌或卡車后部，并通過(guò)最先進(jìn)的白盒（white-box）打擊策略制作，最大限度地提高測(cè)試模型的預(yù)測(cè)誤差。

最后，本文提出一項(xiàng)實(shí)驗(yàn)研究，評(píng)估某些防御方法對(duì)此類破壞的性能。所有代碼和數(shù)據(jù)集在http://carlagear.retis.santannapisa.it?.

如圖說(shuō)明一些代表性駕駛場(chǎng)景：考慮到城市場(chǎng)景中可能會(huì)放置對(duì)抗性patches（例如，在廣告牌或卡車上）和可選一個(gè)對(duì)抗性patch，CARLA-GEAR將這個(gè)parch附著在選定的表面上，并在場(chǎng)景周圍迭代放置車輛和附加的攝像頭，收集高清RGB圖像和真值標(biāo)簽，還有關(guān)于攝像機(jī)內(nèi)外參的附加信息，以及廣告牌在場(chǎng)景中的位置。

該流水線設(shè)計(jì)用于生成涉及自主駕駛感知四種不同計(jì)算機(jī)視覺任務(wù)的數(shù)據(jù)集。每個(gè)數(shù)據(jù)集旨在評(píng)估CNN的對(duì)抗魯棒性和/或在可能存在物理對(duì)抗打擊的情況下防御方法的性能。對(duì)于每種情況，在可打擊表面的不同距離處迭代生成帶有攝像頭的自車，以及隨機(jī)的非表現(xiàn)角色（NPC，即車輛和行人）。該數(shù)據(jù)集由如此收集的RGB圖像和相應(yīng)的真值標(biāo)注組成，對(duì)于每個(gè)任務(wù)，這些標(biāo)注是不同的。

對(duì)抗場(chǎng)景主要是基于patches的真實(shí)對(duì)抗打擊。該工具考慮兩種不同類型的情況：（i）道路一側(cè)的廣告牌上有一個(gè)patch，以及（ii）在攝像機(jī)前面的卡車后面安插patch。每個(gè)廣告牌位置在yml文件中指定為廣告牌在地圖中的固定位置。同一文件指定了自車和NPC相對(duì)于廣告牌的生成位置限制。然后在這些限制內(nèi)隨機(jī)生成。這樣，就可以生成同一潛在危險(xiǎn)場(chǎng)景的不同視圖。雖然廣告牌有固定的位置，但卡車在地圖中隨機(jī)生成，而自車在其后面以不同的隨機(jī)距離生成。

如圖是數(shù)據(jù)生成和收集的流水線：

通過(guò)迭代3個(gè)步驟來(lái)構(gòu)建數(shù)據(jù)集：（i）清理任何額外的車輛/行人，（ii）根據(jù)特定情況的生成限制生成自車、其傳感器和隨機(jī)NPC，（iii）保存RGB圖像、真值、廣告牌和攝像機(jī)姿態(tài)。

實(shí)驗(yàn)結(jié)果如下：（a） 每個(gè)任務(wù)的性能與用于優(yōu)化圖像不可知patches的樣本數(shù)有關(guān)。實(shí)驗(yàn)在billboard02上進(jìn)行了十次，每次實(shí)驗(yàn)都更換種子。虛線表示基線性能（隨機(jī)patches），而誤差條表示標(biāo)準(zhǔn)偏差。（b） CARLA的不同天氣預(yù)設(shè)對(duì)每個(gè)任務(wù)的基線性能（隨機(jī)patches）和有效性的影響。實(shí)驗(yàn)針對(duì)三種不同的情況進(jìn)行，不同的攝像機(jī)陽(yáng)光相對(duì)方向。