直接基于預訓練的大語言模型（LLM）解決時間序列問題，是一個最近的重要研究點。之前的研究中，主要嘗試用LLM進行zero-shot learning，或者基于LLM的參數進行finetune。隨著研究的深入，研究者發現，單獨的一個LLM模型，或者單獨的用LLM在時序數據上finetune，并不能取得最優的效果。因此除了上述優化之外，另一些工作嘗試同時引入LLM構建文本模型和時序模型，并對兩種模態的信息進行對齊，提升時序預測效果。

今天就給大家總結幾篇最近一段時間，使用語言模型+時序模型進行融合建模的最新工作。

1.基于Attention的文本時序融合

Taming Pre-trained LLMs for Generalised Time Series Forecasting via Cross-modal Knowledge Distillation提出一種文本+時序模型雙分支的結構，都從LLM進行參數初始化，并進行跨模態的表征對齊。整體模型包含兩個分支，一個分支是文本模型，使用預訓練的GPT2；另一個分支是時間序列模型，用來對時間序列數據進行編碼，也使用預訓練的GPT2。對于輸入的多元時間序列數據，首先使用iTransformer中的方法，將每個變量的序列看成一個token，生成多元時間序列的表征。對于文本模型側，首先使用PCA對word embedding做一個降維，生成cluster。為了實現時間序列和文本信息的對齊，使用一個multi-head attention，以時間序列表征作為Query，文本模型的cluster表征作為Key和Value計算融合表征。

文本模型和時間序列模型這兩個分支都進行時間序列預測。為了對齊兩個模態，文中引入了兩個約束。第一個約束是，讓文本模型和時間序列模型的隱層表征的距離最??；另一個約束是讓兩個模態的預測結果盡可能相同。在finetune階段，文本模型側不更新參數，時間序列模型測使用LoRA進行高效finetune。

2.Patch表征和Token表征隱空間對齊

S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting也是類似的建模方法，結合prompt對時序模型和文本模型進行對齊。本文提出，將時間序列的patch表征和大模型的word embedding在隱空間對齊，然后檢索出topK的word embedding，作為隱式的prompt。具體做法為，使用上一步生成的patch embedding，和語言模型中的word embedding計算余弦相似度，選擇topK的word embedding，再將這些word embedding作為prompt，拼接到時間序列patch embedding的前方。由于大模型word embedding大多，為了減少計算量，先對word embedding做了一步映射，映射到數量很少的聚類中心上。文中使用GPT2作為語言模型部分，除了position embedding和layer normalization部分的參數外，其余的都凍結住。優化目標除了MSE外，還引入patch embedding和檢索出的topK cluster embedding的相似度作為約束，要求二者之間的距離越小越好。

3.原型Embedding對齊文本和時序

Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning提出一種方法是訓練幾個文本原型向量，并讓其對齊時間序列數據表征，最后將這些原型向量作為prompt加入到時間序列輸入中。文中提出的文本原型向量名為TCTP。如下圖所示，其核心是在LLM的token embedding表征空間中，學一些可學習的embedding，實現一種對原始token embedding聚類的目的。同時，通過對比學習的手段，拉近這些原型embedding和時間序列表征之間的距離，作為一個中間橋梁對齊token embedding和時間序列embedding。

具體的模型結構圖如下。TCTP的優化目標有兩個。一方面，要求每個token embedding和距離其最近的TCTP embedding盡可能小，實現將TCTP嵌入到token embedding的表征空間。另一方面，對于一個時間序列，使用patch+linear生成的時序表征，和各個TCTP計算距離，選擇距離最小的K個TCTP，通過對比學習拉近時序表征和這K個TCTP的距離，實現時序表征到TCTP表征的對齊，進而對齊到預訓練語言模型的token表征空間。

在得到TCTP表征后，將其作為soft prompt，拼接到時間序列輸入的前面，整體輸入到預訓練的語言模型中。語言模型輸出的表征接一個可學習的線性層，映射到最終的預測結果。

圖片

本文轉載自??圓圓的算法筆記??，作者： Fareise