基于GPT+Adaptor的時間序列多任務(wù)統(tǒng)一大模型
今天跟大家聊一聊大模型時間序列預(yù)測的最新工作，來自阿里巴巴達摩院，提出了一種基于adaptor的通用時間序列分析框架，在長周期預(yù)測、短周期預(yù)測、zero-shot、few-shot、異常檢測、時間序列分類、時間序列填充等7項時間序列任務(wù)上都取得了顯著的效果。
論文標題：One Fits All: Universal Time Series Analysis by Pretrained LM and Specially Designed Adaptors
下載地址：https://arxiv.org/pdf/2311.14782v1.pdf
1、背景
搭建時間序列預(yù)測領(lǐng)域的大模型的一個難點在于，比較難獲取到像NLP、CV領(lǐng)域中那樣海量充足的訓(xùn)練數(shù)據(jù)。為了解決這個問題，這篇文章提出以NLP或CV領(lǐng)域訓(xùn)練好的大模型為底座，結(jié)合Adaptor技術(shù)，適配到時間序列中，解決各類時間序列問題。
Adaptor在NLP、CV等領(lǐng)域應(yīng)用很廣泛，尤其是最近大模型應(yīng)用中，adaptor經(jīng)常被用來進行大模型的輕量級finetune。Adaptor是一個輕量級網(wǎng)絡(luò)，通過將其插入到大模型中的一些模塊中，然后fix大模型參數(shù)，只更新adaptor的參數(shù)，就可以實現(xiàn)輕量級的大模型finetune。
圖片
下面，給大家介紹阿里達摩院這篇工作中，是如何利用adaptor結(jié)合預(yù)訓(xùn)練的NLP、CV模型搭建統(tǒng)一時間序列模型的。
2、整體結(jié)構(gòu)
本文提出的模型基于Freeze參數(shù)的預(yù)訓(xùn)練語言模型，結(jié)合4種類型的adaptor實現(xiàn)。整體模型結(jié)構(gòu)如下圖所示。
圖片
首先，對于輸入時間序列，使用RevIN的方式進行歸一化，即減去每個時間序列的均值，除以每個時間序列的方差。然后使用PatchTST中的方式，將時間序列通過滑動窗口切分成多個patch，生成patch embedding。處理好后的時間序列，會輸入到一個NLP領(lǐng)域的預(yù)訓(xùn)練語言模型中，整個訓(xùn)練過程中，語言模型的原始參數(shù)固定不變，只更新模型中新增的4類adaptor參數(shù)。
3、Adaptor設(shè)計
本文提出了4種類型的adaptor，插入到大模型中的不同位置，以此實現(xiàn)讓NLP、CV領(lǐng)域的大模型適配時間序列的目的。這4種adaptor分別是temporal adaptor、channel adaptor、frequency adaptor、anormaly adaptor。
Temporal Adaptor：temporal adaptor是一個時間維度的MLP網(wǎng)絡(luò)，用來融合時間維度的信息，文中采用bottlenect的結(jié)構(gòu)，先將時間維度或空間維度的高維信息映射到低維，然后再映射回高維空間，以此在提取時序關(guān)系的過程中防止過擬合的風(fēng)險。
Channel Adaptor：channel adaptor的結(jié)構(gòu)和temporal adaptor相似，區(qū)別在于在空間維度進行，用來提取多元序列各個變量之間的關(guān)系，也采用了bottlenect；
圖片
Frequency Adaptor：frequency adaptor在頻域進行時間序列的信息提取，這部分將時間序列映射到頻域，在頻域做MLP，然后再映射回時域，以此實現(xiàn)頻域這種全局信息的提取。
Anomaly Adapter：這部分主要是實現(xiàn)了一種新的時間序列異常檢測方法，這里利用了attention score矩陣，對于正常序列attention score矩陣呈現(xiàn)周期重復(fù)的特性，而異常序列則沒有，因此文中使用一個高斯核作為anomaly adaptor，用attention的輸出結(jié)果和其計算KL散度進行時間序列異常檢測。
圖片
此外，各個adaptor對不同數(shù)據(jù)的影響不同，因此文中使用了一個gate網(wǎng)絡(luò)，進行有選擇性的adaptor使用。
4、實驗效果
文中在7種時間序列任務(wù)上進行了效果對比，本文提出的時間序列統(tǒng)一大模型取得了超出各個任務(wù)業(yè)內(nèi)SOTA模型的效果，例如下面是長周期預(yù)測任務(wù)，基于GPT2+Adaptor的統(tǒng)一模型取得了最優(yōu)的效果。
圖片
