今天給大家介紹的文章，是耶魯大學(xué)和斯坦福大學(xué)聯(lián)合發(fā)表的多元時(shí)間序列預(yù)測(cè)工作，重點(diǎn)解決的問題還是最近經(jīng)常被提及的channel之間的聯(lián)合建模還是獨(dú)立建模的問題，提出了一種多channel間關(guān)系建模的新方法，通過學(xué)習(xí)各個(gè)channel間的關(guān)系，實(shí)現(xiàn)channel獨(dú)立和channel聯(lián)合建模的融合。

論文標(biāo)題：From Similarity to Superiority: Channel Clustering for Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2404.01340v1.pdf??

1、背景

多元時(shí)間序列建模問題中，各個(gè)變量（channel）之間是獨(dú)立建模還是聯(lián)合建模，是近期的一個(gè)研究焦點(diǎn)。以PatchTST為代表的channel independent建模方法，將多元序列看成多個(gè)單元序列，每個(gè)單元序列分別建模，取得了很好的效果，也有一些工作驗(yàn)證了多元序列使用channel dependent進(jìn)行聯(lián)合建模會(huì)造成嚴(yán)重的過擬合問題。這導(dǎo)致現(xiàn)在很多方法都采用了獨(dú)立建模來將多變量序列建模簡(jiǎn)化成單變量序列建模。

然而，多變量之間的關(guān)系一定會(huì)帶來一些信息增益，忽略這部分信息，模型就缺少了各個(gè)變量之間互相影響關(guān)系的信息輸入，會(huì)造成一定的效果損失。因此核心問題在于，如何既能將多變量之間的關(guān)系引入模型，同時(shí)又能緩解多變量聯(lián)合建模的過擬合問題。

針對(duì)上述問題，本文提出了一種融合channel independent和channel dependent的建模方法，核心思路是將各個(gè)變量序列進(jìn)行聚類，根據(jù)變量間的相似程度，選擇channel dependent建模的強(qiáng)度。其前提假設(shè)為，越相似的序列，通過channel dependent建模方法能帶來的信息增益越大；反之，如果兩個(gè)序列完全沒關(guān)系，那么引入channel dependent的建模反而會(huì)帶來過擬合問題，就更應(yīng)用channel independent的方式進(jìn)行獨(dú)立建模。

2、實(shí)現(xiàn)方法

基于上述的出發(fā)點(diǎn)，文中提出的解決路徑為：先將序列聚類得到相似簇->每個(gè)簇內(nèi)用channel dependent建模->簇間使用channel independent建模。通過這種方式，使得channel independent和channel dependent這兩種建模方法融合了起來，充分發(fā)揮二者優(yōu)勢(shì)。

在聚類階段，主要采用的是prototype embedding的方式。初始生成k個(gè)cluster質(zhì)心embedding，每個(gè)變量時(shí)間序列使用MLP得到相應(yīng)的序列embedding，使用cluster embedding和序列embedding之間夾角余弦計(jì)算相似度，為每個(gè)序列分配聚類結(jié)果，得到分配矩陣。同時(shí)，根據(jù)變量序列embedding和分配矩陣，可以融合生成每個(gè)聚類相應(yīng)的prototype embedding。

在聚類之后，對(duì)于屬于一個(gè)類簇的變量，其具有較高的相似性，使用一個(gè)共享的MLP進(jìn)行多變量關(guān)系建模；對(duì)不同類簇的變量，使用獨(dú)立的MLP，進(jìn)行獨(dú)立建模。通過這種方式，相當(dāng)于將原來變量粒度的建模，轉(zhuǎn)換成了類簇粒度的channel independent建模，類簇內(nèi)為channel dependent的建模。

此外，文中的方法也可以擴(kuò)展到單變量序列建模中，將每個(gè)序列當(dāng)成一個(gè)變量，進(jìn)行序列粒度的聚類，實(shí)現(xiàn)樣本間關(guān)系的捕捉。在聚類過程中，生成的prototype embedding，也可以用于zero-shot learning。對(duì)于一個(gè)之前沒見過的序列，先獲取其屬于各個(gè)類別的概率，然后使用各個(gè)類別的MLP進(jìn)行加權(quán)融合，實(shí)現(xiàn)未見過序列的zero-shot learning。

3、實(shí)驗(yàn)結(jié)果

本文提出的方法，可以嵌套在任何一個(gè)目前SOTA的時(shí)間序列預(yù)測(cè)模型中。文中在TSMixer、DLinear、PatchTST、TimeNet等4個(gè)目前SOTA的時(shí)間序列模型中，嵌入了文中提出的模塊，對(duì)比是否包含該模塊的效果。從實(shí)驗(yàn)結(jié)果可以看出，引入改模塊對(duì)于多元時(shí)間序列預(yù)測(cè)的效果有顯著的提升。

此外，文中也對(duì)channel的embedding、prototype的embedding進(jìn)行了可視化分析。

圖片

圖片

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise