在多元時間序列預(yù)測中，如何建模多變量之間的關(guān)系一直是研究熱點。過去一年最火的研究方向之一就是多元時間序列應(yīng)該采用channel dependent（多變量聯(lián)合建模）還是channel independent（多變量獨立建模），以及channel dependent的各種改進(jìn)方法。

近期，一種新的探索多變量建模的方法正在興起。這類方法不再執(zhí)著于用復(fù)雜的網(wǎng)絡(luò)建模變量間關(guān)系，而是更直接一些，在預(yù)測每個變量的時間序列時，將其他所有變量都當(dāng)成外部特征或者輔助序列，研究的重點也就變成如何充分利用這些輔助序列提升目標(biāo)序列的預(yù)測效果。

今天這篇文章就給大家?guī)?篇近期清華、亞馬遜發(fā)表的相關(guān)工作。

1.清華-TimeXer

論文標(biāo)題：TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

下載地址：https://arxiv.org/pdf/2402.19072v1.pdf

TimeXer是清華大學(xué)近期發(fā)表了一篇工作，以Transformer為基礎(chǔ)，通過更細(xì)致的建模外部變量建模實現(xiàn)目標(biāo)變量擬合效果的提升。

之前的建模中，更關(guān)心的是多變量和單變量的建模，即輸入一個變量預(yù)測該變量，或者輸入多個變量同時預(yù)測這多個變量，而對于輸入多個變量預(yù)測一個目標(biāo)變量的研究較少。輸入變量中，和目標(biāo)變量一致的為內(nèi)源變量，其他變量為外源變量。如何利用外源變量輔助提升內(nèi)源變量的預(yù)測效果，是本文的核心優(yōu)化目標(biāo)。而之前的Transformer、PatchTST等方法，其實都是多預(yù)測多或一對一，并不適合多對一的預(yù)測。因此本文對Transformer進(jìn)行了升級，適配這種一對多的預(yù)測場景。

文中對于內(nèi)院變量和外源變量兩類變量的處理采用了兩種不同的形式。首先對于內(nèi)源變量，也就是待預(yù)測的變量，使用了patchTST的方式，將時間序列分成不同的片段，每個片段作為一個patch映射成embedding。另一方面，對于外部變量，則采用了類似iTransformer中的方法，將每個外部變量完整的映射成一個patch，生成對應(yīng)的embedding。文中認(rèn)為這種粗粒度的外部變量embedding生成方式，可以更好的將模型的重點放在刻畫外部變量對內(nèi)部變量的空間影響上。

在得到兩部分embedding后，對目標(biāo)變量的patch內(nèi)做self-attention，和PatchTST中的區(qū)別在于，會給每個目標(biāo)變量的patch表征拼接成外部變量生成的embedding，以此實現(xiàn)外部變量信息的引入。在cross attention階段，主要進(jìn)行了目標(biāo)變量表征和外部變量表征之間的cross attention，實現(xiàn)目標(biāo)變量和外部變量之間的關(guān)系提取。

2.亞馬遜-CATS

論文標(biāo)題：CATS: Enhancing Multivariate Time Series Forecasting by Constructing Auxiliary Time Series as Exogenous Variables

下載地址：https://arxiv.org/pdf/2403.01673v1.pdf

本文是亞馬遜發(fā)表的工作，核心思路是將其他變量作為輔助序列來提升目標(biāo)變量的預(yù)測效果。

對于每個變量，都選擇一部分其他變量作為輔助序列，這些輔助序列通過一個ATS Constructor進(jìn)行變換，得到有助于目標(biāo)變量預(yù)測的變換后結(jié)果。這些輔助序列變換后的結(jié)果，會和原始單變量的預(yù)測結(jié)果相加，得到最終的預(yù)測結(jié)果。

一個簡單的例子如下圖，AB兩個序列，A是B的后移幾個step的變換結(jié)果。在AB兩個序列的多元預(yù)測中，單獨預(yù)測無法借助兩個序列之間的這種關(guān)系。如果采用本文提出的這種方法，在預(yù)測A的時候，將B看成輔助序列，經(jīng)過一個identity mapping得到shift后的結(jié)果，就可以直接用這個B的映射后結(jié)果用于預(yù)測A。

模型的整體結(jié)構(gòu)如下圖所示，遵循了Continuty、Sparsity、Variablity三個原則。

Continuty指的是連續(xù)性原則，通過在輔助序列的映射結(jié)果加上相鄰兩個點距離不能太遠(yuǎn)的平滑性約束實現(xiàn)。

Sparsity指的是稀疏性，對于多變量時間序列，可能只有一小部分適用于作為目標(biāo)序列的輔助序列，這里使用一個門控網(wǎng)絡(luò)，篩選少量的其他變量作為輔助序列，以免建模過于復(fù)雜導(dǎo)致過擬合。同時在時間維度上也應(yīng)用了Sparsity，只截取部分窗口的序列用于預(yù)測。

Variablity指的是要讓輔助序列部分能提取多樣性的序列間關(guān)系信息。文中通過對ATS Constructor結(jié)構(gòu)的設(shè)計實現(xiàn)，提出了基于卷積、不重疊卷積、獨立卷積等多種方式從不同角度提取輔助序列可用于目標(biāo)序列預(yù)測的信息。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise