今天給大家介紹一篇不規(guī)則時(shí)間序列建模的工作。本文的核心是研究不規(guī)則時(shí)序預(yù)測(cè)中的變量間關(guān)系建模問(wèn)題，研究焦點(diǎn)是如何在保持計(jì)算效率的同時(shí)，有效地捕捉長(zhǎng)期依賴(lài)性和復(fù)雜變量間關(guān)系。研究者們提出了一個(gè)新穎的框架，通過(guò)結(jié)合局部的通道依賴(lài)（CD）策略和全局的通道獨(dú)立（CI）策略，顯著提升了模型在多個(gè)真實(shí)世界數(shù)據(jù)集上的性能。

論文標(biāo)題：TimeCHEAT: A Channel Harmony Strategy for Irregularly Sampled Multivariate Time Series Analysis

下載地址：??https://arxiv.org/pdf/2412.12886v1??

1.研究背景

非均勻采樣多變量時(shí)間序列（ISMTS）在現(xiàn)實(shí)世界中非常普遍，例如醫(yī)療保健、氣象和交通等領(lǐng)域。這些數(shù)據(jù)由于傳感器故障、傳輸失真、成本削減策略等原因，采樣間隔不相同。而現(xiàn)在的大多數(shù)深度學(xué)習(xí)方法，都只能處理采樣間隔相同的時(shí)間序列，導(dǎo)致這類(lèi)ISMTS問(wèn)題建模困難。現(xiàn)有方法主要分為對(duì)原始不規(guī)則數(shù)據(jù)進(jìn)行插補(bǔ)以轉(zhuǎn)換成規(guī)則序列，或者采用端到端建模方法，但沒(méi)有充分考慮不同變量之間的關(guān)系信息。本文針對(duì)該問(wèn)題，提出了一種channel dependent和channel Independent相結(jié)合的建模方法，實(shí)現(xiàn)不規(guī)則時(shí)間序列變量間關(guān)系的刻畫(huà)。

2.建模方法?

TimeCHEAT的核心，一方面是在每個(gè)patch內(nèi)部采用channel dependent建模策略，通過(guò)二部圖的學(xué)習(xí)建模內(nèi)部各個(gè)變量和各個(gè)時(shí)間戳的關(guān)系，充分捕捉patch內(nèi)的變量間關(guān)系。另一方面，對(duì)于不同patch之間，使用channel independent策略，用一個(gè)全局Transformer專(zhuān)注于建模時(shí)間維度間的關(guān)系。

首先，對(duì)不規(guī)則時(shí)間序列按照等窗口長(zhǎng)度、不重疊的分割成多個(gè)patch。每個(gè)patch內(nèi)部，包括多個(gè)變量在不同時(shí)間步的取值。為了充分刻畫(huà)這種不規(guī)則的變量、時(shí)間步對(duì)應(yīng)關(guān)系，以及各個(gè)變量之間的關(guān)系，文中采用二部圖進(jìn)行建模。二部圖指的是由2種類(lèi)型的點(diǎn)構(gòu)成，且每條邊都連接了兩種類(lèi)型節(jié)點(diǎn)的圖。這個(gè)二部圖中，第一種類(lèi)型的節(jié)點(diǎn)是channel，第二種類(lèi)型的節(jié)點(diǎn)是時(shí)間步。根據(jù)觀測(cè)的信號(hào)將每個(gè)節(jié)點(diǎn)和每個(gè)時(shí)間步相連。為了將不規(guī)則序列轉(zhuǎn)換成規(guī)則的，再加一個(gè)等時(shí)間間隔的虛擬子圖，用GNN建模圖學(xué)習(xí)，去預(yù)測(cè)每個(gè)channel和這個(gè)虛擬子圖各個(gè)時(shí)間步之間的關(guān)系，最后用這個(gè)關(guān)系圖生成每個(gè)patch的embedding。

接下來(lái)，在得到每個(gè)patch的表征后，再全局使用channel Independent建模，專(zhuān)注于學(xué)習(xí)序列時(shí)間步之間的長(zhǎng)周期關(guān)系，也避免學(xué)習(xí)長(zhǎng)周期channel之間依賴(lài)關(guān)系帶來(lái)的過(guò)擬合等問(wèn)題。這里直接將上一步的patch embedding輸入到Transformer中，通道獨(dú)立的進(jìn)行建模，類(lèi)似PatchTST的建模過(guò)程。

最后，Transformer的輸出作為不規(guī)則時(shí)間序列的表征。這個(gè)表征用于下游的分類(lèi)、預(yù)測(cè)、填充等任務(wù)重。

3.實(shí)驗(yàn)效果

本文基于TimeCHEAT模型，在分類(lèi)、預(yù)測(cè)、填充等多個(gè)不規(guī)則時(shí)間序列預(yù)測(cè)任務(wù)中進(jìn)行了效果對(duì)比，可以發(fā)現(xiàn)都取得了不錯(cuò)的效果提升。

本文轉(zhuǎn)載自??圓圓的算法筆記??