今天給大家介紹一篇ICML 2025中比較有意思的論文，這篇文章深入研究了Transformer在時間序列中為什么有效，以及什么情況下效果比較差，Transformer中的哪些結構對于時間序列預測最有效。

論文標題：A Closer Look at Transformers for Time Series Forecasting: Understanding Why They Work and Where They Struggle

下載地址：??https://papers.cool/venue/kHEVCfES4Q@OpenReview??

1.研究背景

基于Transformer的時間序列預測是目前的主流方法，具體的，不同模型建模方式差異也很大。整體包括Point-wise、Patch-wise、Variate-wise等多種類型。哪種結構才是最重要的，不同的模塊又發揮著怎樣的作用呢？這篇文章就進行了深入的研究。

2.研究方法

除了對比不同模型結構的MSE等擬合誤差外，文中引入了一個互信息指標來衡量變量間關系對于預測的影響。這個指標的核心是計算當某個變量發生改變時，另一個變量的預測結果是否會發生比較大的變化。文中通過對變量增加不同組高斯噪聲改變某個變量，再根據修改后模型預測的目標變量的方差來判斷這兩個變量之間的互信息。如果修改的變量和要觀察的變量相同，則可以用來作為變量內部的互信息影響。通過對這個指標的分析，可以看出模型在多大程度上捕捉到了變量間的關系和變量內的關系。

此外，文中還構建了一組人造數據集，控制數據集中intra-variate和inter-variate關系的比例，來彌補真實數據集中可能缺失的變量間關系部分。

3.實驗分析

下面重點介紹一下文中的實驗分析部分，解答了Transformer在時間序列應用的一系列問題。

問題1——為什么Point-wise的建模方法效果最差：從下面實驗可以看出，Point-wise的效果最差，而其變量內部的互信息很低（Intra MI），表明Point-wise建模方法其實無法建模出每個時間序列內部各個點之間的關系信息。Point-wise方法雖然有很高的變量間互信息（Inter MI)，但是對于提升效果沒什么幫助，另一方面可能也表明這些數據集是高度變量無關的。

文中進一步對比了Intra MI、Inter MI和效果之間的關系，整體來看，Intra MI和擬合效果呈現正相關。而Point-wise的Intra MI很低，導致了其擬合效果較差。同時，從上述實驗結果也可以看出，雖然iTransformer等模型引入了變量間的attention建模，但實際Inter MI并不高。

問題2——Transformer中的什么結構對效果影響最大：從上面的分析可以看到，變量內部的關系建模對提升效果幫助最大。文中進一步分析哪些模塊對效果影響最大，從下表可以看出，不加skip-connection的移除對效果影響最大。此外，Z-normalization對于提升預測效果也有非常大的幫助。

本文轉載自??圓圓的算法筆記??，作者：Fareise