今天給大家介紹一篇針對(duì)多變量預(yù)測(cè)單變量場(chǎng)景的時(shí)間序列預(yù)測(cè)優(yōu)化工作。本文的核心是構(gòu)建了一種基于卷積的輕量級(jí)變量間關(guān)系學(xué)習(xí)模塊，提升變量間關(guān)系學(xué)習(xí)效率和緩解過擬合問題，提升多變量預(yù)測(cè)單變量的效果。

論文標(biāo)題：CrossLinear: Plug-and-Play Cross-Correlation Embedding for Time Series Forecasting with Exogenous Variables

下載地址：??https://arxiv.org/pdf/2505.23116v1??

1.研究背景

時(shí)間序列預(yù)測(cè)有多種問題類型。單變量時(shí)間序列預(yù)測(cè)指的是輸入一個(gè)序列歷史值，預(yù)測(cè)這個(gè)序列的未來值；多變量時(shí)間序列預(yù)測(cè)指的是輸入多個(gè)序列的歷史值，預(yù)測(cè)這些序列的未來值。而還有一種類型的任務(wù)是多對(duì)一的，即輸入多個(gè)序列，預(yù)測(cè)其中某個(gè)序列的值。這種情況下，待預(yù)測(cè)序列叫做內(nèi)部變量，其他序列稱為外部變量。

這篇文章則是針對(duì)多對(duì)一的情況提出的優(yōu)化方法。多對(duì)一的預(yù)測(cè)，核心是建模內(nèi)部變量和外部變量之間的關(guān)系。現(xiàn)有的多變量關(guān)系建模方法，例如CrossFormer等基于Transformer的多變量關(guān)系建模方法，由于其模型結(jié)構(gòu)復(fù)雜，會(huì)造成計(jì)算復(fù)雜度高，過擬合等問題。

為了解決上述問題，本文提出了一種簡(jiǎn)單的多變量關(guān)系建模方法，引入一個(gè)一維卷積學(xué)習(xí)變量間關(guān)系，取得了多對(duì)一預(yù)測(cè)場(chǎng)景下的效果提升。

2.建模方法

本文提出的方法模型結(jié)構(gòu)比較簡(jiǎn)單，核心包括變量關(guān)系表征提取、patch和位置表征輸入、預(yù)測(cè)head、歸一化等模塊。整體結(jié)構(gòu)如下圖所示。

對(duì)于輸入的多變量序列，分別使用ReVIN進(jìn)行歸一化。在關(guān)系表征提取模塊，將內(nèi)部變量和多個(gè)外部變量拼接成一個(gè)N*T的矩陣，N是變量數(shù)量，T是時(shí)間步數(shù)量。在這個(gè)矩陣上使用一維卷積，在時(shí)間維度上滑動(dòng)，通過這個(gè)簡(jiǎn)單的模塊實(shí)現(xiàn)相同時(shí)間窗、不同變量之間的關(guān)系建模。一維卷積輸出維度為1，對(duì)應(yīng)融合多變量關(guān)系后生成了一個(gè)新序列。

為了緩解過擬合問題，文中將經(jīng)過多變量關(guān)系表征提取模塊生成的序列，與原始的內(nèi)部變量序列進(jìn)行加權(quán)求和，權(quán)重是一個(gè)可學(xué)習(xí)的參數(shù)，讓模型可以控制使用多變量關(guān)系建模模塊輸出的程度。

這個(gè)模塊過后，使用patch編碼和位置編碼對(duì)輸入進(jìn)行表征。上面的加權(quán)求和生成的新序列，使用PatchTST中的patch embedding構(gòu)建方法生成表征，同時(shí)使用position embedding和patch embedding進(jìn)行加權(quán)求和，權(quán)重和上面類似也使用一個(gè)可學(xué)習(xí)的參數(shù)：

上述建模方法，也可以很容易擴(kuò)展到多對(duì)多的多元時(shí)間序列問題中，通過將1維卷積的輸出從1調(diào)整到多個(gè)channel，即可實(shí)現(xiàn)針對(duì)每個(gè)內(nèi)部變量的多變量關(guān)系提取序列。

3.實(shí)驗(yàn)效果

下表是整體的實(shí)驗(yàn)效果，可以看到本文提出的方法在多個(gè)數(shù)據(jù)集不同時(shí)間窗口的預(yù)測(cè)上都取得了效果提升。

同時(shí)，本文的模型參數(shù)量和計(jì)算復(fù)雜度低，擬合精度超過其他SOTA模型。

本文轉(zhuǎn)載自????圓圓的算法筆記????，作者：Fareise