今天給大家介紹最近的一篇探索如何在更好地建模通道(channel)之間的相關性的多元時間序列文章。文章旨在解決通道獨立(channel independent)方法缺乏對通道之間相關性的利用，以及通道依賴(channel dependent)方法不夠魯棒的問題。這篇文章，提出了一種新穎的中心化結構傳遞不同通道的信息，相比于分布式結構如Attention，Mixer等，這種中心化的結構既降低了計算開銷，而且提高了對于異常通道的魯棒性，以更低的復雜度獲得更好的性能。

論文標題：SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

下載地址：??https://arxiv.org/pdf/2404.14197??

論文代碼: https://github.com/Secilia-Cxy/SOFTS

1.背景介紹

在多元時間序列領域，學術界存在兩種建模方式，一種是通道獨立(channel independent)方法，一種是通道依賴(channel dependent)方法。

通道獨立方法將多元時間序列將多個通道的序列看做多條單元時間序列，使用一個統一的單元時序預測模型進行預測，這種方法因其在非平穩數據上的出色魯棒性被眾多先進方法采用，但是其忽略了通道之間的相關，阻礙了其進一步的性能提升。

通道依賴方法利用特定的通道信息融合模塊實現通道間信息的交互，然而這些方法要么過于依賴通道之間的相關性導致缺乏足夠的魯棒性對抗序列的非平穩性，要么使用了復雜的關系建模模塊如Attention使得復雜度過高難以擴展。

因此，如何利用通道獨立的魯棒性，并且設計更魯棒和高效的通道交互模塊，是先進多元時序預測方法必須要考慮的問題。

為了解決上述問題，文章主要有以下幾個貢獻：

提出了Series-cOre Fused Time Series（SOFTS）模型，這是一種基于MLP的簡單模型，具有較低的復雜度但表現出最先進的性能。

提出了STar Aggregate-Redistribute（STAR）模塊，作為SOFTS的基礎。STAR設計為一種中心化結構，使用一個核心來聚合和交換各通道的信息。與Attention等分布式結構相比，STAR不僅降低了復雜度，還提高了對通道異常的魯棒性。

最后，通過廣泛的實驗，我們驗證了SOFTS的有效性、可擴展性以及魯棒性。

1.實現方法

這篇文章提出了一個非常簡單且高效的基于MLP的方法，其名字為Series-cOre Fused Time Series forecaster (SOFTS)。正如其名，該方法通過多個通道的序列表示和整個多元序列的核心表示融合來實現通道之間關系的建模。

主要架構如圖下圖所示。可以看到， SOFTS和iTransformer一樣，使用序列級別的embedding，提取每個通道的表示，不同的是，SOFTS通過一種星型聚合分發模塊(STar Aggregate Redistribute module, 簡稱STAR)提取不同通道的序列之間的相關性，交換不同序列的信息。最后，SOFTS通過線性層對每個通道的未來做出預測

STAR是整個SOFTS方法的核心，它針對性地解決了現有通道交互模塊的兩個問題：(1) Attention等模塊需要兩兩對比不同通道并計算相似度，導致平方級別的復雜度 (2) 這種兩兩比較易受通道本身的質量影響，而在現實的非平穩數據上，往往存在很多異常通道。為了實現高效性和魯棒性，STAR借鑒了計算機網絡結構中的中心化架構，相比于深度學習里常用的分布式架構如Attention, Mixer, GNN等，STAR能夠將復雜度縮小到線性級別的同時，并且減小異常通道的影響。

具體而言，多個通道的序列表示首先通過一個MLP映射，然后通過一個pooling操作得到一個核心(core)向量，這個核心向量綜合了不同序列的特征，代表了整個序列的全局信息，然后將這個核心向量拼接到每個表示后，并用另一個MLP層進行融合。整個過程的計算復雜度只與通道數量，序列長度等呈線性關系。

3.實驗結果

在實驗效果上，本文提出的SOFTS模型結構在現有的多元時序預測benchmark上均取得了比較明顯的提升。在下表展示出的24個結果中，有21個是第一，3個是第二。

基于純MLP結構，SOFTS能以更小的計算和存儲代價獲得更好的性能，如右圖所示，以更快的推理和更小的內存消耗獲得了最好的性能。且由于SOFTS模型的線性復雜度，其更易擴展到更大規模的數據集和問題中，如左圖所示，對比了同樣性能較好的iTransformer和PatchTST模型，SOFTS在通道迅速增長的情況下依舊可用，而另兩個模型則迅速超過常用的24G顯存上限。

通過STAR模塊，SOFTS能夠調整異常序列的表征，下圖(a)表示了進入STAR之前的序列表示，異常的通道出現在遠離正常分布的位置，在這種表示上預測僅能獲得0.414的預測誤差，而通過STAR調整后，這些通道的表示被重新調整，根據不同序列的特征聚類到類似的正常通道附近，其預測性能也被提升至0.374，提升幅度達9%。其性能受通道噪聲的影響也更小，如下圖(c)。因此，采用STAR結構的SOFTS更具魯棒性。

4.總結

盡管通道獨立已被證明是提高多變量時間序列預測魯棒性的有效策略，但通道間的相關性是進一步提升性能的重要信息。之前的方法在提取相關性時面臨著模型復雜性和性能之間的兩難困境。在本文中，我們通過引入Series-cOre Fused Time Series預測器（SOFTS）解決了這一難題。SOFTS在保持低復雜度的同時，實現了最先進的性能，并且通過創新的STar Aggregate-Redistribute（STAR）模塊高效地捕捉了通道間的相關性。

本文轉載自 ??圓圓的算法筆記??，作者： 韓路