本文第一作者陳謀祥是浙江大學(xué)計(jì)算機(jī)四年級博士生，研究方向?yàn)闀r(shí)間序列預(yù)測、LLM 代碼生成和無偏排序?qū)W習(xí)。通訊作者劉成昊是 Salesforce 亞洲研究院高級科學(xué)家，曾提出時(shí)序預(yù)測基礎(chǔ)模型 Moirai。該工作由浙江大學(xué)、道富科技和 Salesforce 共同完成。

機(jī)器之心曾在兩個(gè)月前報(bào)道過，大語言模型（LLM）用于時(shí)序預(yù)測真的不行，連推理能力都沒用到。近期，浙大和 Salesforce 學(xué)者進(jìn)一步發(fā)現(xiàn)：語言模型或許幫助有限，但是圖像模型能夠有效地遷移到時(shí)序預(yù)測領(lǐng)域。

他們提出的 VisionTS 時(shí)序預(yù)測框架，基于何愷明的代表作 ——MAE 模型。VisionTS 僅從自然圖像（ImageNet）中預(yù)訓(xùn)練而無需時(shí)間序列微調(diào)，即可直接跨界比肩（甚至超越）一眾強(qiáng)大的時(shí)序預(yù)測基礎(chǔ)模型，如 Moirai 和 TimesFM 等，而這些基礎(chǔ)模型均使用了大量時(shí)間序列數(shù)據(jù)預(yù)訓(xùn)練。

這篇論文證明了：計(jì)算機(jī)視覺和時(shí)間序列這兩個(gè)看似風(fēng)馬牛不相及的領(lǐng)域，可能具有密切聯(lián)系。其實(shí)，這也符合人類的習(xí)慣：我們很難從一串?dāng)?shù)字序列直接看出規(guī)律，但如果將其轉(zhuǎn)成一張時(shí)序趨勢圖，就能更容易地從中看出圖片變化的規(guī)律。

• 論文題目：VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters
• 論文地址：https://arxiv.org/abs/2408.17253
• 代碼倉庫：https://github.com/Keytoyze/VisionTS

圖一：VisionTS 無需時(shí)序數(shù)據(jù)微調(diào)，即可在零樣本情況下超越最大的時(shí)序基礎(chǔ)模型 Moirai。

近年來，預(yù)訓(xùn)練基礎(chǔ)模型（Foundation Models）已經(jīng)促進(jìn)了自然語言處理（NLP）和計(jì)算機(jī)視覺（CV）領(lǐng)域的變革。通過在大量數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，這些模型在各種下游任務(wù)中表現(xiàn)出色，甚至在沒有見過的數(shù)據(jù)上也能很好地完成任務(wù)。

這種趨勢正在推動(dòng)時(shí)間序列預(yù)測發(fā)生重大變化，從傳統(tǒng)的「單數(shù)據(jù)集訓(xùn)練單模型」 轉(zhuǎn)向「通用預(yù)測」，即采用一個(gè)預(yù)訓(xùn)練模型來處理不同領(lǐng)域的預(yù)測任務(wù)。

目前，訓(xùn)練能夠通用預(yù)測的時(shí)序預(yù)測基礎(chǔ)模型有兩條主要研究路徑。第一條路徑是嘗試把已經(jīng)在文本數(shù)據(jù)上訓(xùn)練好的 LLM 應(yīng)用于時(shí)間序列預(yù)測任務(wù)。然而，由于這兩種數(shù)據(jù)模式之間存在顯著差異，這種語言與時(shí)序之間的可遷移性最近受到了一些質(zhì)疑。

第二條路徑是從零開始收集大量來自不同領(lǐng)域的時(shí)間序列大數(shù)據(jù)集，直接訓(xùn)練一個(gè)基礎(chǔ)模型（如 Moirai，TimesFM 等）。然而，不同領(lǐng)域的時(shí)間序列數(shù)據(jù)之間在長度、頻率、維度和語義上有很大差異，這限制了他們之間的遷移效果。到目前為止，構(gòu)建高質(zhì)量的時(shí)間序列數(shù)據(jù)集仍然充滿挑戰(zhàn)，處于探索階段。

在本文中，論文作者提出了創(chuàng)新的第三條路徑：用預(yù)訓(xùn)練好的視覺模型來構(gòu)建時(shí)序預(yù)測基礎(chǔ)模型。這是因?yàn)閳D像中的像素變化可以自然地看作是時(shí)間序列。這一序列和現(xiàn)實(shí)中的時(shí)序數(shù)據(jù)有許多相似的特點(diǎn)：

1. 相似的形式：圖像和時(shí)序都是連續(xù)的，而語言是離散的。

2. 相似的起源：圖像和時(shí)序是自然信號，源于對真實(shí)世界物理現(xiàn)象的觀測結(jié)果，而語言是人類創(chuàng)造的。

3. 相似的信息密度：圖像和時(shí)間序列通常包含大量冗余數(shù)據(jù)，而語言的密度更高。

4. 相似的時(shí)序特征：圖像中常見的許多特征也在真實(shí)世界的時(shí)間序列數(shù)據(jù)中出現(xiàn)，而這些特征在語言中很少見，如下圖所示。

圖二：ImageNet 上的一張圖片：像素變化序列經(jīng)常呈現(xiàn)出現(xiàn)實(shí)世界時(shí)間序列的特點(diǎn)，如趨勢性（Trend）、周期性（Seasonality）和穩(wěn)定性（Stationarity）。

基于這些見解，該論文希望回答這樣一個(gè)問題：一個(gè)在圖像上已經(jīng)訓(xùn)練好的視覺模型，能否直接作為通用時(shí)間序列預(yù)測的基礎(chǔ)模型，一站式加入午餐豪華大禮包？

方法：基于何愷明的視覺 MAE

來預(yù)測時(shí)間序列

圖三：VisionTS 架構(gòu)。

該論文基于提示學(xué)習(xí)（prompt learning）的思想，將時(shí)間序列預(yù)測任務(wù)重構(gòu)為 MAE 預(yù)訓(xùn)練使用的塊級圖像補(bǔ)全任務(wù)。思路很簡單：將時(shí)間序列的歷史窗口轉(zhuǎn)變?yōu)榭梢姷膱D像塊（visible patches），預(yù)測窗口轉(zhuǎn)變?yōu)楸徽趽醯膱D像塊（masked patches），如圖三所示。

1. 分割（Segmentation）

對于一個(gè)長度為 L 的輸入序列窗口，第一個(gè)目標(biāo)是將其轉(zhuǎn)換為二維矩陣。首先將其分割成 L/P 個(gè)長度為 P 的子序列，其中 P 是周期長度（如果時(shí)間序列沒有明顯的周期性，可以直接設(shè)置 P=1）。接著，這些子序列被堆疊成一個(gè)二維矩陣，形狀 (P, L/P)。

2. 標(biāo)準(zhǔn)化（Normalization）

MAE 會對輸入進(jìn)行標(biāo)準(zhǔn)化。因此，該論文提出標(biāo)準(zhǔn)化二維矩陣，將其轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)差為 0.4 左右的數(shù)據(jù)。

3. 渲染（Render）

眾所周知，每個(gè)圖像有三個(gè)通道。該論文簡單地將歸一化后的矩陣渲染為灰度圖像，也就是三個(gè)通道都相同。

4. 對齊（Alignment）

考慮到預(yù)訓(xùn)練時(shí)圖像的大小可能與這一矩陣大小不匹配，該論文提出將圖像的尺寸從原始的 (P, L/P) 調(diào)整為適合 MAE 輸入的尺寸。論文作者選擇雙線性插值來調(diào)整尺寸。

5. 重建與預(yù)測（Reconstruction & Forecasting）

在得到 MAE 重建的圖像后，可以簡單地逆轉(zhuǎn)之前的步驟來進(jìn)行預(yù)測。具體來說，論文作者選擇將重建的整個(gè)圖像重新調(diào)整回時(shí)間序列的分段，然后提取出預(yù)測窗口。

實(shí)驗(yàn)效果

測試結(jié)果顯示，VisionTS 在涵蓋多個(gè)領(lǐng)域的35個(gè)基準(zhǔn)數(shù)據(jù)集上表現(xiàn)出色，涉及時(shí)序預(yù)測的各種場景。

下表展示了部分?jǐn)?shù)據(jù)，其中 VisionTS 在無需時(shí)序數(shù)據(jù)微調(diào)的情況下，能夠驚人地達(dá)到最佳預(yù)測性能。零樣本情況下，能夠比肩甚至超越 Moirai（一個(gè)在 27B 通用時(shí)序數(shù)據(jù)上訓(xùn)練的時(shí)序大模型），甚至超越了少樣本訓(xùn)練的 LLM（TimeLLM 和 GPT4TS）以及其他常用的時(shí)序預(yù)測模型。

這些結(jié)果顯示，圖像→時(shí)間序列的遷移能力要強(qiáng)于文本→時(shí)間序列，甚至與不同時(shí)序數(shù)據(jù)領(lǐng)域之間的相互遷移能力相當(dāng)。

下圖展示了 VisionTS 的一個(gè)預(yù)測樣例，包括輸入圖像（a）、重建圖像（b）以及對應(yīng)的預(yù)測曲線（c）。可以發(fā)現(xiàn)，VisionTS 恰當(dāng)?shù)夭蹲搅诉@一數(shù)據(jù)的周期性和趨勢性，而 Moirai 和 Seasonal Na?ve 忽略了趨勢性。

更多研究細(xì)節(jié)，可參考原論文。