NeurIPS'24：針對時序預測中時間戳特征的研究
這篇文章給大家介紹一下北郵在NeurIPS 2024中發表的一篇時間序列預測工作，重點研究了如果有效利用時間戳特征提升時序預測效果，相關方法可以嵌入到現有的各類SOTA時序預測模型中。
論文標題：Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective
下載地址：https://arxiv.org/pdf/2409.18696
1.研究背景
現有的時間序列預測方法大多依賴于數值型的歷史數據，并且假設這些數據的分布是相對穩定的。盡管這類方法能夠在捕捉數據中的線性關系和周期性規律方面表現良好，但在面對由外部因素引起的非平穩性和異常情況時，它們往往顯得力不從心。
比如，在節假日或特殊事件期間，人們的消費行為、出行模式等會發生顯著變化，導致相關指標出現不同于平常的波動。如果模型不能充分考慮這些外部因素的影響，其預測結果可能會偏離實際情況，進而影響決策的準確性。
此外，現實世界中的數據常常因意外事件而遭受污染，如電力系統故障導致的異常高耗電量。缺乏對全局模式的深入理解使得現有方案易受模式異常及數據噪聲的影響。
時間戳蘊含豐富的全局性季節特征，本應成為提升預測準確性的寶貴資源。例如，工作日通常會在特定時段迎來交通高峰期。遺憾的是，當前研究大多聚焦于局部觀測的數值型數據，僅將時間戳作為可有可無的輔助信息源。
消融研究表明，即使去掉時間戳信息，大部分模型的表現也不會有顯著退步，這反映出當前當前對于以時間戳為代表的全局信息利用不足。
2.建模方法
針對上述問題，作者提出了一種通用框架GLAFF。作為一款插件，GLAFF能夠無縫集成到任何預測主干之中，借助全局信息增強主流模型的魯棒預測能力。
相較于通過early fusion整合時間戳信息的傳統方法，基于late fusion的GLAFF不僅實現了不同類型信息間的平衡利用，還能有效抵御來自單一數據源的噪聲干擾，從而顯著增強了整個系統的穩定性和可靠性。
GLAFF插件的整體架構下圖所示。在主干網絡根據局部觀測提供初始預測后，GLAFF利用全局信息對齊進行修正。
具體而言，它先通過Attention-based Mapper對包含全局信息的時間戳進行單獨建模，并將它們映射到符合標準分布的觀測值。隨后，為了處理滑動窗口的觀測值中存在異常的場景，作者利用 Robust Denormalizer對初始映射進行逆規范化，從而減輕數據漂移的影響。最后，Adaptive Combiner在預測窗口內動態調整全局映射和局部預測的組合權重，產生最終的預測結果。
Attention-based Mapper：采用Transformer模型中的編碼器架構，包含了嵌入層、注意力模塊以及投影層。類似于多數基于Transformer的編碼器，GLAFF通過嵌入層將同一時間的時間戳向量視為一個標記，以描述該向量的屬性。緊隨其后，多頭自注意力被應用于標記間的交互，以建模時間戳之間的相互依賴，并由前饋網絡單獨處理以進行序列表示。最后，使用投影層來獲得初始映射結果。借助注意力機制的長距離依賴性和并行計算能力，Attention-based Mapper得以對以時間戳為代表的全局信息做到更充分的建模。
Robust Denormalizer：針對數據漂移現象，GLAFF對以時間戳為代表的全局信息采取了一種解糾纏的兩階段建模策略。第一階段中，由Attention-based Mapper直接產生的原始映射值被假定遵循正態分布規律，以此降低建模時間戳與觀測值之間依賴的難度。在第二階段，基于歷史窗口內初始映射值和實際觀測值之間的分布偏差，Robust Denormalizer再分別將初始映射值逆標準化為最終映射值，以減輕數據漂移的影響。標準的逆標準化操作通?？紤]均值和方差的差異。然而，這種方法容易受到極值的影響，在觀測數據含有異常時表現得不夠魯棒。作者分別使用中位數和分位數范圍替代均值和標準差，使得Robust Denormalizer對異常情況更加穩健。
Adaptive Combiner：鑒于現實世界的復雜性，模型偏差的數據偏好應該隨著在線概念漂移而不斷變化。當時間序列模式清晰穩定時，應該給予魯棒的全局信息更多的關注。當時間序列模式模糊多變時，應該給予靈活的局部信息更多的關注。因此，作者提出了一種數據依賴策略來不斷更新模型選擇策略，自適應的動態調整全局信息和局部信息的組合權重。Adaptive Combiner根據歷史窗口內全局映射值和實際觀測值之間的偏差，動態調整預測窗口內全局映射值和局部預測值的組合權重。之后，模型根據組合權重對雙源信息進行求和，得出最終的預測結果。
3.實驗效果
在九個常用數據集上的實驗結果表明，GLAFF一致地增強了四個廣泛使用的主流預測基線的性能，充分證明了其有效性和優越性。
除了評估指標之外，預測質量也至關重要。如下圖所示，通過兩個典型數據集上的對比分析可以看出，GLAFF生成的結果不僅更加接近實際情況，而且對于局部異常值具有更好的抵抗能力，而其他單獨運作的主干模型則容易受到此類擾動的影響。
本文轉載自??圓圓的算法筆記??，作者：SanMoon ????
