時間序列數據具有內在的長程和短程依賴性，對分析應用提出了獨特的挑戰。雖然基于Transformer的模型擅長捕獲長程依賴關系，但它們在噪聲靈敏度、計算效率和與較小數據集的過度擬合方面存在局限性。

本次的研究人員引入了一種新穎的時間序列輕量級自適應網絡（TSLANet），作為各種時間序列任務的通用卷積模型。具體來說，利用傅里葉分析來增強特征表示并捕獲長期和短期相互作用，同時通過自適應閾值來減輕噪聲。此外還引入了交互式卷積塊，并利用自監督學習來改進 TSLANet解碼復雜時間模式的能力，并提高其在不同數據集上的魯棒性。

綜合實驗表明，TSLANet在分類、預測和異常檢測等各種任務中優于最先進的模型，展示了其在各種噪聲水平和數據大小下的彈性和適應性。

1.TSLNet Block

簡單的說，TSLANet基于Transformer，用于時間序列表示學習。專為時間序列分類和預測任務而設計，同時它還結合傅里葉變換和卷積層，以捕獲時間序列數據中的局部和全局模式。

TSLANet的不同之處在于它還包含傅里葉變換和卷積層。傅里葉變換允許模型通過將時間序列數據分解為不同的頻率分量來捕獲時間序列數據中的全局模式。然后，卷積層專注于從時間序列中提取局部特征。通過結合這些不同的技術，模型可以學習對下游任務有用的時間序列的豐富表示。

傅里葉變換層將一維傅里葉變換應用于輸入時間序列，以將其分解為其頻率分量。這允許模型捕獲數據中的全局模式。這個過程會進行噪聲過濾，處理完畢之后，會通過逆FFT變換重構數據。Transformer編碼器層接受傅里葉變換層的輸出，該一層主要使用自注意力機制來學習。卷積層則是將一維卷積層應用于Transformer的輸出，以從時間序列中提取局部特征。最后是前饋網絡層，卷積特征通過完全連接的前饋網絡，以產生最終的時間序列表示。

2.性能效果

作者證明了 TSLANet 在多個時間序列分類和預測基準上的有效性，包括 TDASNet、TBSN 和端到端自調諧數據集。它們表明，TSLANet在這些基準測試中還是有一定的優勢，突出了其混合架構的優勢。

上圖為在不同數據集上面的分類結果

上圖為多變量的預測，預測長度 ∈ {96, 192, 336, 720}.將結果取平均值。

上圖為異常任務檢測的結果。

本文轉載自 ??魯班模錘??，作者： 龐德公