在這個系列里，圓圓會帶大家梳理2024年時間序列預測領域的經典工作，涉及多個優化方向。在這一節里，會為大家整體介紹2024年的時間序列一些具有突破性進展的領域。后續章節將持續在知識星球中更新，深入解讀和串聯這些領域的相關工作。

1.時間序列基礎模型

2024年是時間序列預測與大模型深度結合的元年，涌現了很多時間序列基礎模型和大模型中建模方法在時間序列預測的應用。

一方面，今年出現了很多類型的時間序列基礎模型，希望通過多源數據的聯合訓練，構建一個類似于LLM的統一時間序列模型，能夠解決各類時間序列問題。這其中的各類問題，包括各類時間序列任務（如預測、分類、填充等）、各類分布的時間序列數據集、各類時間序列數據形式（如預測長度、變量數量等）。業內也逐漸關注時間序列基礎模型在zero-shot、few-shot中的效果。

另一方面，LLM中的建模方法也在時間序列中取得應用，例如In-context Learning、RAG等建模方式，都嘗試了在時間序列領域的遷移，并取得了一定的效果。

2.擴散模型和時間序列

擴散模型在時間序列中的應用，在最近兩三年一直是一個研究熱點。特別是在今年Sora等生成式大模型發布后，擴散模型和時間序列的結合更加緊密。并且，今年相關領域中，重點研究了如何針對時間序列生成的特有問題，對擴散模型中的各個模塊進行優化升級，讓擴散模型更適配時間序列這種低密度、高不確定性的數據形式。

3.時序模型結構優化

在模型結構方面，繼去年的線性模型和Transformer模型之爭、PatchTST的提出，今年仍然有許多針對Transformer時間序列模型的升級。

除了Transformer模型的優化外，一些近期在LLM領域逐漸興起的LSTM、Mamba等傳統序列模型和序列模型的升級版本，也因其天然適配于時間序列數據形式，被在時間序列領域follow了起來。特別是2024年的下半年，涌現了一大批基于Mamba的時間序列模型。

4.時序信息維度優化

相比從模型結構上的優化，今年更多的工作是信息構建形式上的優化，例如頻域信息的進一步應用、輸入信號的分解、時間序列的多尺度建模等方面，今年都提出了很多新穎有效的解決方案。

例如，如何將時間序列進行更細粒度的分解，傳統的趨勢項、季節項分解是否已經能夠滿足需求？頻域信息如何和時域信息更有機的進行結合？多尺度時間序列數據的聯合建模和融合方法。這些都是今年從時間序列信息增量的維度，更進一步深入研究的主題。

5.多變量關系建模

多變量關系建模仍然是時間序列領域關注的焦點，因為其在實際應用中最為常見。相比之前采用的時序、變量間關系耦合在一起建模，今年的工作更進一步實現了多變量關系、時間序列建模的拆解。針對多變量關系建模中存在的問題，提出了包括基于聚類、解耦attention、圖學習等多個角度的優化，均取得了不錯的效果提升。

6.總結

2024年涌現了很多深度學習+時間序列的優秀工作，擴散模型、LLM在時間序列問題的應用成為主流。同時，像去年比較火的時間序列表示學習、時間序列線性模型等方向，進展減少，更多的是融合到了其他優化工作中。

本文轉載自 ??圓圓的算法筆記??，作者： Fareise