這篇文章給大家介紹一下ICLR2024中，用對比學習強化時間序列預測的一篇工作。這篇文章是韓國KAIST發表的工作，通過在時間序列預測中引入對比學習，實現對Encoder建模窗口以外全周期時間序列信息的應用。

論文標題：SELF-SUPERVISED CONTRASTIVE FORECASTING

下載地址：??https://arxiv.org/pdf/2402.02023v1.pdf??

1.背景

長周期時間序列預測一直是業內研究的焦點，但是現有的方法，大多數都是在一個時間窗口內建模，即將原來的時間序列分割成多個片段，每個片段內部單獨的進行訓練和預測。

比如原來的完整時間序列長度是10000，每個訓練的時間序列長度可能只有200。這種只在一個窗口內進行建模的方式，沒有考慮完整時間序列的信息。這會導致，兩個時間序列片段本來屬于同一個完整的時間序列，有一些規律信息是相似的，但是模型在訓練時卻無法捕捉這個信息。

如下圖所示，完整的時間序列存在一定的周期性，整個長度為14000。但是如果以一個正常的Encoder長度訓練模型，提取的片段完全體現不出這種長周期性信息。

2.建模方法

為了解決這個問題，本文的核心提出了一種基于自相關系數的對比學習loss。自相關系數衡量了一個時間序列和自身T個時間步延遲后的相關系數，自相關系數越大，說明時間序列具有更強的T周期性。比如一個完全以年為周期的時間序列，如果把時間序列移動365個時間步，將移動前后的時間序列計算相關系數，其結果是1。

文中便利用這個信息優化時間序列表示的學習。在一個batch內，時間序列是來自同一個完整時間序列的多個窗口（也可能來自多個，本文主要以一個完整序列進行研究），并且這些窗口大概率具有比較大的時間間隔，因為是隨機采樣的。

首先標記出每兩個時間序列之間的時間間隔T，然后計算兩兩時間序列間隔為T的自相關系數，這個自相關系數刻畫了這兩個時間序列的相關關系。以這個自相關系數為label，構建對比學習的正樣對，并以對比學習為目標優化序列表征。

通過這種方式，實現了利用完整時間序列信息的目的，在表示空間中拉近在完整時間序列中T自相關性系數高的時間序列片段表征。

基于上述的對比學習框架，文中提出了一種新的長周期時間序列預測模型。在常見的基于趨勢項、季節項分解的時間序列預測模型結構基礎上，引入了一個基于上述對比學習提取長周期表示的分支，最后由3個分支融合到一起進行預測。

其中，長周期分支的Encoder部分使用了TCN模型，也可以替換成其他模型。通過ReVIN和逆向ReVIN操作對輸入的時間序列進行標準化。最后以MSE為loss進行模型優化。

3.實驗效果

在實驗中，本文對比了多種長周期時間序列預測的效果，本文提出的方法取得了顯著的效果提升。

同時，文中也分析了在實驗數據集中，窗口外的自相關性是廣泛存在的，也從一個角度驗證了這種全周期時間序列信息提取的必要性。

本文轉載自 ??圓圓的算法筆記????，作者： Fareise