今天給大家介紹一篇AAAI 2024中，由新加坡科技研究局（A*STAR）和新加坡南洋理工大學聯合發表的時間序列分類工作，通過圖感知對比學習改善多變量時間序列分類，取得了非常顯著的效果提升。

圖片

論文標題：Graph-Aware Contrasting for Multivariate Time-Series Classification

下載地址：https://arxiv.org/pdf/2309.05202.pdf

開源代碼：https://github.com/Frank-Wang-oss/TS-GAC

1、整體介紹

針對現有對比學習方法主要關注時間一致性而忽略MTS數據中多傳感器的空間一致性，作者提出了圖感知對比。具體來說，TS-GAC包括了針對多變量時間序列的圖增強以及圖對比。其中圖增強包括了節點和連邊增強，以通過保持傳感器穩定性及其相關性來增強空間一致性。此外，引入了多窗口時間對比來保持時間一致性。通過廣泛的實驗驗證，該方法在各種MTS分類任務上取得了最優性能。文章強調了在MTS數據的對比學習中考慮空間一致性的重要性，并提供了一個全面的解決方案，顯著改善了分類性能。

圖片

2、模型結構

本文提出的方法主要包括圖增強和圖對比兩個部分。

圖增強：為了有效地增強MTS數據，生成弱視圖和強視圖，引入了節點和連邊的增強。節點增強包括頻域以及時域增強，旨在充分增強圖節點。首先應用了對于節點的頻域增強，然后通過考慮MTS數據中的動態局部模式，將增強后的樣本分割成多個窗口如圖2所示。在每個窗口內使用節點時間增強后，通過一維卷積神經網絡來對窗口進行特征提取。隨后對每一個窗口構建圖并通過連邊增強進一步增強圖，然后用基于圖神經網絡的編碼器處理并學習特征。

圖片

圖對比：包括節點級對比和圖級對比，以實現空間一致性。節點級對比通過在不同視圖中將相應的傳感器拉近、將不同視圖中的不同傳感器推遠，確保節點特征的魯棒性。圖級對比則進一步確保全局特征的魯棒性，通過對比不同視圖中的樣本來實現。

該架構的目標是在對比學習中實現空間一致性，針對MTS分類提供了特定的增強和對比技術。通過首先應用節點增強，然后利用節點內的時間增強，以及最終通過GNN處理的邊緣增強，該方法能夠為每個樣本生成具有不同空間和時間特性的弱視圖和強視圖。這種方法的創新之處在于，它不僅考慮了時間一致性，還通過圖結構增強了空間一致性，為MTS數據的深入分析和處理提供了新的視角。

3、圖增強模塊

針對MTS數據的特性，即作為由多個傳感器收集的數據，作者提出了節點和連邊增強兩種主要方法：

節點增強：分為頻域增強和時域增強。頻域增強通過將每個傳感器的信號轉換到頻域，并對提取的頻率特征進行增強，然后將增強的頻率特征轉換回時間域以獲得增強信號。具體采用了離散小波變換，通過高通和低通濾波器分解信號，以表示信號內的宏觀趨勢和微觀趨勢。時域增強則是考慮到MTS數據的動態特性，通過將每個MTS樣本分割成多個窗口，并在每個窗口內進行時域增強。

連邊增強：旨在增強傳感器間的相關性，即構建的圖中的邊。首先通過圖構建過程來定義節點（傳感器）和邊（傳感器間的相關性）。然后，通過連邊增強方法有效地增強傳感器間的相關性。在這一步驟中，考慮到強相關性比弱相關性在GNN的特征傳播中更為重要，因此在進行邊緣增強時，保留了最強的s個相關性以保證拓撲信息的穩定，并將其余的相關性用隨機值替換來增強連邊。

通過這些增強策略，作者旨在生成弱視圖和強視圖，以便后續的對比學習過程能夠學習到魯棒的傳感器特征和傳感器間關系。這些增強策略的設計考慮到了MTS數據的多源性和動態性，通過提供不同角度的數據視圖，增強了CL的能力，從而可以學習到更魯棒和泛化的表示。

4、圖對比模塊

文中提出了圖感知對比方法，該方法特別設計了節點和邊緣增強以及圖對比策略，以增強MTS數據的空間一致性。主要包括多窗口時間對比、節點級對比、圖級對比3個級別的對比方式。

多窗口時間對比（Multi-Window Temporal Contrasting, MWTC）：這一方法在傳感器級別上保證每個傳感器的時間一致性，通過預測編碼來維持MTS數據內時間依賴性的魯棒性。MWTC通過總結一個視圖中的過去窗口信息，與另一視圖的未來窗口進行對比，以此來保持時間模式的魯棒性。

節點級對比（Node-level Contrasting, NC）：NC通過在每個MTS樣本內不同視圖中的傳感器進行對比，學習魯棒的傳感器級特征。這包括最大化兩個視圖中對應傳感器之間的相似性，同時最小化那些視圖中不同傳感器之間的相似性。

圖級對比（Graph-level Contrasting, GC）：GC通過在每個訓練批次內對樣本進行對比，促進魯棒的全局級特征學習。這一策略通過最大化兩個視圖中對應樣本之間的相似性，同時最小化那些視圖中不同樣本之間的相似性來實現。

這些對比學習策略共同工作，旨在通過圖結構增強MTS數據的表示學習，進而提高分類準確性。文章還強調了時間對比對于保持每個傳感器時間一致性的重要性，以及圖對比在學習傳感器和全局級魯棒特征中的作用。通過結合節點級和圖級對比，該方法能夠有效地學習MTS數據中的復雜空間和時間模式，實現對MTS分類性能的顯著提升。

5、實驗效果

在實驗部分，文中對比了在十個公開的多變量時間序列數據集上的性能表現，并與現有的最先進方法進行了比較。這些數據集包括人類活動識別（HAR）、ISRUC睡眠階段分類，以及UEA數據集中的子數據集，如手指運動、口語阿拉伯數字等。為了公平對比，所有方法都使用了相同的編碼器。實驗結果顯示，TS-GAC在其中八個數據集上取得了最佳性能，特別是在HAR和ISRUC數據集上，相較于其他方法，準確率分別提高了1.44%和3.13%。

圖片

同時，作者還對模型特征進行了可視化，可視化結果實現了TS-GAC可以提取更有辨識度的傳感器級特征。同時，相對于其他方法，TS-GAC可以對不同視角的數據得到更加一致的傳感器級特征。

圖片

作者還進行了消融研究，以評估設計的增強和對比技術對模型性能的影響。消融研究測試了不同變體，包括去除節點增強、去除邊緣增強、去除圖級對比、去除節點級對比、去除多窗口時間對比的變體。結果表明，圖增強和圖對比技術在提高MTS數據的空間一致性方面極為有效，完全的TS-GAC相較于任何一種減少對比損失的變體都表現出了更好的性能。

圖片

此外，作者還對模型的敏感性進行了分析，包括超參數（如λMWTC、λGC、λNC）的影響和保留邊緣數量的影響。這些分析進一步證實了所提出方法的有效性和健壯性。

整體而言，實驗結果強調了TS-GAC在多個MTS分類任務上達到最優性能的能力，證明了提出的圖增強和圖對比技術在提高模型對MTS數據的空間一致性方面的重要性和有效性。