現實世界的系統在運行過程中會產生大量的時序數據。

通過這些時序數據發現系統中可能存在的異常現象對于保障系統安全、設備平穩運行以及避免經濟損失都有著非常重大的意義，例如大規模服務器、地空、水電設備的監測等。

因此，來自清華大學軟件學院的團隊重點研究了無監督時序異常檢測問題，并被ICLR 2022接收為Spotlight。

作者：徐介暉*、吳海旭*、王建民、龍明盛

論文鏈接：
?https://openreview.net/forum?id=LzQQ89U1qm_

在實際應用中，時序數據的異常檢測極其困難，它需要從占主導地位的正常數據中發掘出異常點或者異常時間模式，其中涉及兩個核心問題：

（1） 如何通過網絡獲取更具信息含量的表征，從而使得異常的表征不會被「淹沒」于正常數據中；

（2） 如何基于學習的表征定義更加具有區分性的判據，用于篩選異常。

1. 動機

從時間序列的本質屬性出發，我們發現每一個時間點都可以由其與整個序列的關聯關系來表示，即表示為其在時間維度上的關聯權重分布。相比于點級別的特征，這種關聯關系暗含了序列的模式信息，比如周期、趨勢等，因此更具信息含量。

同時，與正常點相比較，異常點很難與正常模式主導的整個序列都建立強關聯關系，它們往往更加關注鄰近區域（由于連續性）。因此，這種與整體序列、鄰近先驗之間的關聯差異，為異常檢測提供了一個天然的、強區分度的判據。

基于以上觀察，我們提出了Anomaly Transformer模型，實現了基于關聯差異（Association Discrepancy）的時序異常檢測。其包含Anomaly-Attention機制用于分別建模兩種形式的關聯，同時以極小極大（Minimax）關聯學習策略進一步增大正常點與異常點之間差別。

值得一提的是，在不同領域的5個數據集上，Anomaly Transformer都取得了SOTA的效果。

2. 方法

2.1 Anomaly Transformer

2.1.1 整體架構

相比于標準的Transformer模型，Anomaly Transformer中在每層中都新設計了一個Anomaly-Attention單元，用于從多層次的深度特征中學習潛在的時序關聯。

整體架構如上圖所示，Anomaly-Attention（左）同時建模了數據的先驗關聯（Prior-Association，即更關注鄰近區域的先驗）和序列關聯（Series-Association，即從數據中挖掘的依賴）。

除了序列重建任務之外，我們的模型還采用了極小極大策略（Minimax）用于進一步增大異常點和正常點所具有的關聯差異的差距，從而使得異常點能夠被更加容易的檢測出來。

2.1.2 Anomaly-Attention

為了計算關聯差異，我們提出的一種全新的注意力機制Anomaly-Attention，用于統一建模先驗關聯和序列關聯。

（1）先驗關聯用于表示由于時間序列連續性帶來的，每個時刻更多地關注其鄰近區域的先驗。我們采用了一個具有可學習尺度參數的高斯核函數來表示。高斯核函數的中心位于對應時間點的索引上，由于高斯分布本身所具有的單峰分布的特性，這樣的設計能夠幫助學習到的權重天然的集中于對應時間點的鄰域內。同時，自適應的尺度參數可以幫助先驗關聯動態適應不同的時序模式。

（2）序列關聯用于表示直接從序列數據中挖掘出的依賴。其計算方式與標準Transformer的注意力矩陣計算方式類似，注意力矩陣中每一行的權重分布都對應了一個時間點的序列關聯。同時，為了更好的完成序列重建任務，模型會自動挖掘到合理的時序依賴。

通過上述設計，模型可以分別捕捉到先驗關聯和序列關聯，相較于過往的模型這種基于關聯的表征蘊含著更加豐富的信息。

2.1.3 關聯差異（Association Discrepancy）

我們將關聯差異定義為這兩者之間的差異，作為后續異常檢測的判據，它由各個層次的先驗關聯、序列關聯之間的對稱KL距離計算得到：

2.2 極小極大關聯學習

除了無監督任務廣泛使用的重建誤差外，我們還引入了一個額外的關聯差異損失用于增大正常點和異常點之間的差距（如下所示）。

得益于先驗關聯的單峰特性，新增的關聯差異損失會驅使序列關聯更加關注非鄰近的區域，這會使得異常點的重建更加的艱難，進而正常點和異常點之間的辨別更加容易。

然而，在實驗中發現，若直接最小化關聯差異將使得先驗分布中可學習的尺度參數急劇變小，造成模型退化。因此，我們使用了極小極大（Minimax）策略用于更好的控制關聯學習的過程。

（1） 在最小化階段，固定序列關聯，讓先驗關聯近似，這樣可以使先驗關聯適應不同的時序模式。

（2） 在最大化階段，固定先驗關聯，優化序列關聯以最大化關聯之間的差異，該過程可以讓序列關聯更加關注于非臨接、全局的點，從而使得異常點的重建更加困難。

最終，我們將標準化后的關聯差異與重建誤差結合起來，定義了新的異常檢測判據：

3. 實驗

我們在5個標準數據集上進行了模型驗證，涵蓋服務檢測、地空探索等多個應用。Anomaly Transformer在5個基準中均實現了SOTA的效果。更多基準模型及數據說明請見論文。

3.1 消融實驗

我們設計消融實驗驗證了提出的先驗關聯、訓練策略、新的異常判據的有效性。

3.2 判據分析

針對時序異常的5種類型，我們可視化了其在不同異常判據下的區分性。可以發現基于關聯差異的異常評判曲線有著更加準確的可區分性。

3.3 先驗關聯分析

針對上述不同的異常類別，我們也提供了先驗關聯中學到參數的可視化。如圖所示，異常點處的相較于序列中別的點往往會比較小，這代表了它與非臨接部分的關聯較弱，這也印證了異常點很難與整個序列構建強關聯的先驗。

4. 總結

本文關注無監督時序異常檢測問題，提出了基于關聯差異的異常檢測模型Anomaly transformer，并通過一個極小極大（Minimax）關聯學習策略大幅提高了模型的異常檢測能力。

Anomaly transformer在服務器監測、地空探索、水流觀測等應用中均展現出了優秀的異常檢測結果，具有很強的應用落地價值。