[[441526]]

 近年來，深度學(xué)習(xí)在一系列任務(wù)中（例如：圖像識別、目標識別、語義分割、視頻識別等）取得了巨大成功。因此，基于深度學(xué)習(xí)的智能模型正逐漸廣泛地應(yīng)用于安防監(jiān)控、無人駕駛等行業(yè)中。但最近的研究表明，深度學(xué)習(xí)本身非常脆弱，容易受到來自對抗樣本的攻擊。對抗樣本指的是由在干凈樣本上增加對抗擾動而生成可以使模型發(fā)生錯誤分類的樣本。對抗樣本的存在為深度學(xué)習(xí)的應(yīng)用發(fā)展帶來嚴重威脅，尤其是最近發(fā)現(xiàn)的對抗樣本在不同模型間的可遷移性，使得針對智能模型的黑盒攻擊成為可能。具體地，攻擊者利用可完全訪問的模型（又稱白盒模型）生成對抗樣本，來攻擊可能部署于線上的只能獲取模型輸出結(jié)果的模型（又稱黑盒模型）。此外，目前的相關(guān)研究主要集中在圖像模型中，而對于視頻模型的研究較少。因此，亟需開展針對視頻模型中對抗樣本遷移性的研究，以促進視頻模型的安全發(fā)展。

時序平移攻擊方法

與圖片數(shù)據(jù)相比，視頻數(shù)據(jù)具有額外的時序信息，該類信息能夠描述視頻中的動態(tài)變化。目前已有多種不同的模型結(jié)構(gòu)（例如：Non-local，SlowFast，TPN）被提出，以捕獲豐富的時序信息。然而多樣化的模型結(jié)構(gòu)可能會導(dǎo)致不同模型對于同一視頻輸入的高響應(yīng)區(qū)域不同，也會導(dǎo)致在攻擊過程中所生成的對抗樣本針對白盒模型產(chǎn)生過擬合而難以遷移攻擊其他模型。為了進一步剖析上述觀點，來自復(fù)旦大學(xué)姜育剛團隊的研究人員首先針對多個常用視頻識別模型（video recognition model）的時序判別模式間的相似性展開研究，發(fā)現(xiàn)不同結(jié)構(gòu)的視頻識別模型往往具有不同的時序判別模式。基于此，研究人員提出了基于時序平移的高遷移性視頻對抗樣本生成方法。

• 論文鏈接：https://arxiv.org/pdf/2110.09075.pdf
• 代碼鏈接：https://github.com/zhipeng-wei/TT

視頻模型的時序判別模式分析

在圖像模型中，常常利用 CAM（Class activation mapping）來可視化模型對于某張圖片的判別區(qū)域。然而在視頻模型的判別模式由于額外的時序維度而難以可視化，且難以在不同模型間進行比較。為此，研究人員定義視頻幀的重要性排序作為視頻模型的時序判別模式。如果兩個模型共享相似的時序判別模式，那么視頻幀重要性的分布會更加相似。

視頻幀的重要性計算

研究人員使用了三種途徑衡量視頻幀對于模型決策的重要性：Grad-CAM，Zero-padding 和 Mean-padding。Grad-CAM 在由 CAM 計算得到的 attention map 中針對每一幀進行均值計算，該均值則為視頻各幀的重要性度量。而 Zero-padding 使用 0 來替換第i視頻幀中的所有像素值，并計算替換前后的損失值的變化程度。變化程度越高說明第 i 視頻幀越重要。類似地，Mean-padding 使用臨近幀的均值替換第i視頻幀。通過以上三種方式，可計算得到在不同模型下視頻幀的重要性程度，并以此作為模型的時序判別模式。

時序判別模式相似度計算

由上述方法計算視頻數(shù)據(jù)x在模型A上的視頻幀重要性得分為

，其中T表示輸入視頻幀的數(shù)目。那么針對模型A和模型B，可得到

，結(jié)合 Spearman’s Rank Correlation，可計算模型間時序判別模式的相似性

，即

其中，

執(zhí)行基于重要性值的排序操作并返回視頻各幀的排序值。

的值在-1和1之間，當其等于0時表示模型A和模型B間的判別模式不存在關(guān)系，而-1或者1則表示明確的單調(diào)關(guān)系。

的值越大則模型間的判別模式越相似?；诖?，可實現(xiàn)不同視頻模型時序判別模式間關(guān)系的度量。

不同視頻模型間判別模式的相似程度

上圖為 6 個視頻模型間的判別模式關(guān)系熱圖。在不同模型設(shè)計架構(gòu)下，Non-Local、SlowFast 和 TPN 間的時序判別模式相似程度較低；而在相同設(shè)計架構(gòu)下，分別使用 3D Resnet-50 和 3D Resnet-101 作為 backbone 的視頻模型具有更加相似的時序判別模式。以上趨勢在三種視頻幀重要性計算方法中都得到了驗證。由此，可在實驗上證明該論文的假設(shè)，即不同視頻模型結(jié)構(gòu)會導(dǎo)致不同的時序判別模式。

時序平移攻擊方法

基于以上觀察，研究人員提出了基于時序平移的遷移攻擊方法。通過沿著時序維度移動視頻幀，來降低所生成對抗樣本與白盒模型特定判別模型之間的擬合程度，提高對抗樣本在黑盒模型上的攻擊成功率。

使用

表示輸入視頻，

表示其對應(yīng)真實標簽，其中T，H，W，C分別表示幀數(shù)，高度，寬度和通道數(shù)，K表示類別數(shù)目。使用

表示視頻模型對于視頻輸入的預(yù)測結(jié)果。定義

為對抗噪聲，那么攻擊目標可以定義為

，其中

，且限制

。定義

為損失函數(shù)。則非目標攻擊的目標函數(shù)可定義為：

為了降低攻擊過程中對于白盒模型的過擬合現(xiàn)象，研究人員對時序移動后視頻輸入的梯度信息進行聚合：

其中L表示最大平移長度，且

。函數(shù)

表示將所有的視頻輸入沿著時序維度平移i幀。當平移后的位置大于T時，設(shè)當前幀為第i幀，即t+i>T，則第t幀的位置變?yōu)榈趖+i-T幀，否則為第t+i幀。而在時序平移后的視頻輸入上計算完梯度后，仍會沿著時序維度平移回原始視頻幀序列，并通過w_i來整合來自不同平移長度的梯度信息。w_i可利用均一、線性、高斯三種方式生成（參考 Translation-invariant 攻擊方法）。

攻擊算法整體流程如下，其中

用來限制生成的對抗噪聲滿足

。

結(jié)果討論與分析

為了探究時序平移攻擊方法的性能，研究人員在 UCF-101 和 Kinetics-400 兩個數(shù)據(jù)集，Non-local，SlowFast，TPN 三種不同結(jié)構(gòu)的視頻模型中進行對比實驗，其中視頻模型分別使用 3D Resnet-50 和 3D Resnet-101 作為 backbone。當使用某一種結(jié)構(gòu)的視頻模型作為白盒模型時，計算所生成對抗樣本在其他結(jié)構(gòu)的視頻模型上的攻擊成功率（Attack success rate，ASR），以此作為評價指標。

研究人員分別在單步攻擊和迭代攻擊方法下進行了實驗對比?？梢钥闯鰰r序平移攻擊方法在單步攻擊和迭代攻擊下都能取得更高的 ASR，表明所生成的對抗樣本具有高遷移性。此外，在視頻模型上，單步攻擊的效果好于迭代攻擊。這說明，在圖像模型中發(fā)展出的遷移攻擊方法不適用于更復(fù)雜的視頻模型。最后，當使用 TPN 模型作為白盒模型時，時序平移攻擊方法的性能提升較為有限，研究人員通過分析后認為 TPN 模型對于時序移動更加不敏感。

視頻識別模型上的 ASR 對比圖

下表展示了與 Translation-invariant（TI）攻擊方法、Attention-guided（ATA）攻擊方法和 Momentum iterative（MI）攻擊方法相結(jié)合后的性能比較?？梢钥闯觯瑫r序平移方法可以輔助這些方法發(fā)揮更好的性能，起到補充的作用。

結(jié)合現(xiàn)有方法的平均 ASR 結(jié)果對比

此外，研究人員還針對不同的平移長度L、權(quán)重w_i生成策略及平移策略進行了消融實驗。

平移長度L決定了有多少個平移后的視頻輸入被用來進行特征聚合。當L=0時，時序平移方法將會退化為最基本的迭代攻擊方法。因此，針對平移長度的研究是十分有必要的。下圖展示了不同平移長度下時序平移攻擊方法在不同黑盒模型下的 ASR 變化情況。可以看到，Non-local Resnet-50 模型的曲線更加穩(wěn)定，而其他黑盒模型的曲線呈現(xiàn)先上升再趨于穩(wěn)定的特點。這是因為 Non-local Resnet-50 與 Non-local Resnet-101 共享相似的模型結(jié)構(gòu)。為了平衡 ASR 和計算復(fù)雜度，研究人員最終選取L=7來進行實驗。

不同平移長度下的時序平移攻擊方法性能對比

下表展示的是對于權(quán)重生成策略和平移策略的消融實驗結(jié)果。從表中可以看出，當賦予具有更大時序平移長度的視頻輸入以更小的權(quán)重時，時序平移攻擊方法能取得較好的結(jié)果。此外，當平移策略變?yōu)殡S機幀交換或遠距離交換時，時序平移攻擊方法會取得較差的結(jié)果。

不同權(quán)重生成策略和平移策略下時序平移攻擊方法的性能對比