今天給大家介紹一篇ICML 2025的時間序列預測工作，提出了一個輕量級、兼容不同類型數據的周期性差異的時間序列基礎模型，在Zero-shot learning、Full-shot learning等場景中都取得了顯著效果提升。

論文標題：LightGTS: A Lightweight General Time Series Forecasting Model

下載地址：??https://arxiv.org/pdf/2506.06005??

1.研究背景

時間序列基礎模型希望構建類似LLM的時序領域通用模型，在大量多樣性的數據集上預訓練，訓練好的模型在下游進行應用。

現有的時間序列基礎模型往往存在2個問題。第一個是結構復雜，參數量大，在下游的應用中存在資源瓶頸。第二個是也是本文要主要解決問題是，時序基礎模型需要在多樣化的數據上訓練，然而不同時間序列數據的周期性不同，現有的統一建模方法會忽略這種數據差異，影響了擬合效果。

為了解決上述問題，本文提出了一種能兼容不同數據周期性的時間序列基礎模型，不僅提升了模型在多種數據上的兼容能力，也顯著降低了模型的參數量。下圖是不同時序基礎模型的MSE和參數量對比，本文提出的模型MSE低切參數量也很小。

2.建模方法

本文的核心思路是，針對不同周期性的時間序列，使用不同長度的窗口進行patch生成，從而使得每個patch內都包含一個完整周期的信息。下圖對比了不同Embedding的方法，相比單點Embedding和Patch Embedding，本文的方法能夠保證單個patch的周期性信息是完整的。

整體的模型結構如下圖所示，核心包括3個模塊：周期Token生成、自適應Patch映射、Transformer結構。下面展開介紹這3個模塊的實現方法。

周期Token生成相比一般的Patch Embedding生成方法，核心是讓每個patch能保留當前數據的一個完整周期。對于每個輸入樣本，根據該樣本的采樣率，或者使用傅里葉變換等工具，獲取該樣本的周期長度，使用這個長度進行不同樣本個性化的Patch劃分。

自適應Patch映射的核心是為了適配不同Patch長度的映射。由于周期Token生成的引入，不同樣本的patch長度不一樣，采用統一的MLP映射成統一維度，會導致不同patch大小的樣本不兼容。文中的解決方法是，讓模型自動學習一個插值矩陣，并以某一個patch長度作為基準，讓模型自動學習一個能夠最小化誤差的插值矩陣。公式如下，其中A是插值矩陣，theta是基準patch的MLP參數，第一項為當前樣本patch長度和基準patch長度的比例的平方根。

在模型結構上，基本沿用了Transformer Encoder-Decoder的結構，Encoder對歷史序列編碼，Decoder基于Encoder的表征解碼。一個核心差異在于，Decoder部分的輸入使用Encoder最后一個時刻的表征。Encoder最后一個時刻的表征匯聚了所有歷史信息，并且歷史信息對于預測未來幫助很大，因此直接將這個表征平鋪到Decoder每個時刻的輸入中。同時，考慮到預測窗口越長，歷史信息的影響越弱，因此引入了一個根據位置衰減的權重，逐步減少Encoder最后一個表征對預測的影響。

3.實驗效果

下表是在zero-shot、full-shot等場景的實驗效果對比，本文提出的時序基礎模型取得了顯著的效果提升。

文中也對比了不同Embedding處理方法的case預測結果，本文提出的多周期patch劃分方法，讓每個patch保留完整周期信息，因此更加準確的實現了周期性的預測。

本文轉載自???????圓圓的算法筆記???????，作者：Fareise