金融時間序列預測對經濟穩定、投資決策和風險管理至關重要，能夠有效配置資本、減少市場沖擊風險。預測面臨挑戰包括金融時間序列非平穩，受經濟變化、投資者行為、政策干預等影響，導致分布隨時間變化。

本文提出FinCast，首個專為金融時間序列預測設計的基礎模型，基于大規模金融數據集訓練。FinCast展現出強大的零樣本性能，能夠捕捉多樣化模式，無需領域特定微調。

結果顯示，FinCast在零樣本和監督金融預測基準上均優于現有方法，平均減少預測誤差20%和23%。適應多樣化和非平穩市場，展示出良好的領域和時間分辨率適應性。

摘要

金融時間序列預測對經濟穩定、政策制定和可持續投資至關重要，但面臨模式變化的挑戰。模式變化主要來源于：時間非平穩性、跨領域多樣性和不同時間分辨率。現有深度學習方法常出現過擬合，且需大量領域特定的微調。本文提出FinCast，首個專為金融時間序列預測設計的基礎模型，基于大規模金融數據集訓練。FinCast展現出強大的零樣本性能，能夠捕捉多樣化模式，無需領域特定微調。實證和定性評估表明，FinCast超越現有最先進方法，具有良好的泛化能力。

簡介

金融時間序列預測對經濟穩定、投資決策和風險管理至關重要，能夠有效配置資本、減少市場沖擊風險。預測面臨挑戰包括金融時間序列非平穩，受經濟變化、投資者行為、政策干預等影響，導致分布隨時間變化。不同金融領域（如股票、商品、貨幣）具有獨特模式，預測模型需適應多樣化的經濟機制和市場結構。時間分辨率差異（如高頻數據與低頻數據）使得模型難以跨領域和分辨率泛化。現有模型在真實條件下表現不佳，通常依賴于監督學習，假設模式穩定，導致過擬合，難以適應新的分布或領域。

本文提出FinCast，金融時間序列預測的基礎模型，采用解碼器-only transformer，訓練于200億時間點，涵蓋多種金融領域和時間分辨率。采用三大設計：

1) Point-Quantile損失（PQ-loss），優化點預測與量化概率估計，增強對時間變化的魯棒性；

2) 令牌級稀疏專家混合機制（MoE），提高模型容量并實現領域專門化；

3) 可學習頻率嵌入，編碼不同時間分辨率的特征，改善周期性和季節性模式的捕捉。

FinCast在零樣本和監督金融預測基準上均優于現有方法，平均減少預測誤差20%和23%。適應多樣化和非平穩市場，展示出良好的領域和時間分辨率適應性。

相關工作

傳統金融時間序列預測依賴統計模型（如ARIMA、GARCH），難以捕捉非線性動態和突變。深度學習引入遞歸神經網絡（RNN）和長短期記憶（LSTM）架構，適合短中期依賴，但長程相關性和梯度消失問題仍然存在。圖模型通過將股票視為節點、依賴關系為邊，增強了模型的可解釋性和關系推理能力。

Transformer架構在時間序列預測中表現良好，但計算成本高，需適應金融數據的非平穩性。新興的擴散模型結合擴散過程與變分自編碼器（VAE），有效建模不確定性和復雜時間分布。大規模模型（如GPT-4、Claude等）展示了跨領域強泛化能力，激發了針對時間序列的基礎模型（如TimesFM、TimesMoe等）的發展。

FinCast是首個專為金融時間序列預測設計的十億參數基礎模型，旨在解決金融數據的波動性、噪聲和模式變化問題。

方法

問題建模

定義金融時間序列 

 ，每個 x_l 為時間 l 的觀測值。

目標是學習映射 

，使得未來值

FinCast 模型支持任意的上下文長度 L 和預測范圍 H ，無需改變架構。采用通道獨立機制處理可變特征維度 c，對每個坐標序列應用相同映射。

模型架構

FinCast是一種用于金融時間序列預測的解碼器-only Transformer架構，包含三大技術貢獻：稀疏專家機制、可學習頻率嵌入和點-分位損失。

主要組件：

• 輸入標記化塊：對時間序列進行實例歸一化，使用殘差MLP映射為潛在表示，并注入頻率嵌入以編碼時間分辨率和周期性。
• 解碼器MOE主干：通過因果掩蔽處理潛在標記，采用動態選擇專家的稀疏Mixture of Experts機制。
• 輸出塊：最終隱藏狀態通過殘差MLP映射到預測輸出，并進行反歸一化，使用點-分位損失優化準確性和概率估計。

輸入標記化塊

輸入序列 ?? 被分割為非重疊的補丁，進行實例歸一化以確保尺度不變性，歸一化僅對未被掩蔽的元素應用。實例歸一化的優點包括去除尺度偏差、增強對不同金融工具的魯棒性、保持序列相對形狀的無損可逆性。

輸入殘差塊為帶有跳躍連接的多層感知機（MLP），最終輸入通過線性投影獲得。

頻率嵌入機制支持不同時間分辨率的泛化，通過離散頻率索引檢索可學習的嵌入向量，增強模型對時間分辨率的適應性和預測準確性。

解碼器MOE主干RMSNorm：對輸入序列進行計算，使用可學習的縮放參數??，省略均值減法，僅依賴?2范數，適用于大規模預訓練。

因果自注意力：確保自回歸一致性，防止未來信息泄露，支持可變長度輸入和靈活預測。通過線性變換將歸一化的隱藏狀態投影為Q、K、V，形狀為R?? × ?? × ?? × ????。查詢向量進行逐維重加權，使用學習參數??進行元素乘法。應用掩碼以強制自回歸行為，計算注意力logits。通過加權組合值向量，使用投影矩陣????將多個頭的輸出合并回模型維度。

稀疏專家混合（MoE）層：解碼器塊通過稀疏專家混合（MoE）層增強表示能力，保持計算效率。每個token通過學習的門控機制路由到最合適的k個專家，實現動態專業化。MoE設計使專家能夠捕捉金融時間序列中的不同模式，如波動性突發、季節性變化和趨勢轉變。每個token的門控logits通過線性變換計算，路由過程是稀疏的，僅保留top-k分數。專家輸出通過加權組合聚合，最終token輸出結合了MoE層的結果。MoE層通過專家專業化提高了模型的魯棒性和表達能力，減少了共享表示中的干擾。

輸出塊

解碼器的最終隱藏狀態通過殘差輸出塊生成預測，映射到輸出空間。使用兩層MLP和殘差連接增強輸出能力，保持穩定梯度。輸出序列重塑為

進行逆歸一化，使用輸入標記階段的統計數據恢復原始數據尺度。逆歸一化確保預測準確且可與原始輸入直接比較，關鍵于金融領域的規模和語義一致性。

點分位數損失

本文提出了一種集成量化損失的輔助目標，以減輕預測崩潰并增強分布魯棒性，確保多步預測的準確性、穩健性和趨勢一致性。總損失為四個組件的加權和，包括量化損失、Huber點損失、趨勢一致性損失和輔助專家正則化。

量化損失通過鼓勵模型表示分布不對稱性和捕捉預測不確定性，減輕了僅使用均方誤差（MSE）損失的模型的預測崩潰。

Huber點損失結合了均方誤差和平均絕對誤差的優點，適用于高噪聲環境。

趨勢一致性損失通過鼓勵保留時間趨勢和方向變化，適用于金融預測。

輔助專家正則化損失促進專家的平衡使用，防止專家崩潰并鼓勵專業化。

通過將點預測與基于量化的不確定性估計對齊，模型能夠捕捉中心趨勢和尾部風險。

模型訓練和推理

預訓練數據集：構建了一個包含200億時間點的綜合預訓練數據集，涵蓋金融（如加密貨幣、外匯、期貨、股票、宏觀經濟指標）和非金融領域，包含240萬條時間序列。數據通過公開接口獲取，并經過嚴格的數據清洗流程。

訓練細節：FinCast是一個具有10億參數的稀疏Mixture-of-Experts（MoE）變換器，采用4個專家和top-k=2路由。訓練使用可變序列長度，最大上下文長度為1024，訓練步驟為147,152，每步處理約520萬時間點。優化使用AdamW，學習率為0.0002，批量大小為8192，分布式訓練在8個NVIDIA H200 GPU上進行。學習率調度包括線性預熱、穩定階段和余弦衰減。

推理過程：FinCast在推理時采用自回歸解碼模式，逐步生成預測。通過逐段預測，輸出結果逐步附加到輸入中，直到達到所需的預測范圍。最終輸出包括點預測，覆蓋完整的預測時間范圍。FinCast在8GB消費級GPU上高效推理，能夠在全精度下運行。

實驗

FinCast在兩個基準上進行評估：零樣本方法和監督方法，全面評估性能。零樣本性能評估使用包含3,632個時間序列和4.38百萬個時間點的基準數據集，反映金融預測的核心挑戰。

與Google的TimesFM、Amazon的Chronos-T5和TimesMOE等通用時間序列模型進行比較。在監督預測設置中，采用標準化基準進行公平比較，報告基于FinCast的結果（未微調和微調版本）。與SOTA監督模型（如PCIE、PatchTST、D-Va、Autoformer和Informer）進行評估。

零樣本方法對比

評估模型使用了一個包含3,632個金融時間序列的基準數據集，總計超過438萬時間點，涵蓋加密貨幣、外匯、股票和期貨等多個領域，時間分辨率從分鐘到每周不等。基準數據集與預訓練數據集無重疊，確保嚴格的零樣本設置，避免信息泄露影響結果。考慮了三個預測時間范圍（10、30、60），輸入序列長度統一為128，以保持公平比較。

FinCast模型在所有預測時間范圍內均優于現有最先進方法，平均減少20% MSE和10% MAE，在36個數據集中分別排名第一的次數為23和25。基準數據集的規模和多樣性降低了過擬合的可能性，強勁表現反映了模型對金融時間序列的動態和結構模式的真實建模能力。

有監督學習方法對比

使用PCIE基準的US_71和US_14L兩個金融時間序列數據集，分別包含71只和14只高流動性美國股票的歷史日價格。US_71數據集時間范圍為2016年1月4日至2023年12月29日，US_14L為2005年1月4日至2023年12月29日。數據集按7:1:2比例劃分為訓練、驗證和測試集，確保公平評估，且不包含預訓練數據。

評估模型的零樣本和微調版本，微調在訓練集上進行，采用簡單策略：訓練1個epoch，僅更新輸出塊和最后10%的稀疏MoE層。

零樣本版本在MSE和MAE上分別減少23%和16%，微調后進一步減少26%和19%，超越所有現有的監督模型，顯示出模型的強大泛化能力。

消融分析

稀疏專家混合模型（MoE）：用密集變體替換稀疏MoE導致性能下降9.32%，強調稀疏路由在促進泛化和專業化中的重要性。

點-分位損失（PQ-loss）：使用標準MSE損失替代PQ-loss導致性能下降7.62%，PQ-loss在非平穩條件下更具魯棒性，能捕捉分布知識和不確定性。

頻率嵌入：去除頻率嵌入導致4.38%的性能下降，頻率嵌入作為重要的歸納偏置，幫助模型明確時間分辨率，增強泛化能力。

推理速度分析

高效推理是金融領域模型部署的關鍵，尤其在高頻交易和實時市場分析中。FinCast在推理速度和預測性能之間取得良好平衡，推理速度比其他模型快5倍，同時準確性更高。實驗在消費級NVIDIA RTX 4060 GPU上進行，反映了實際生產環境的計算資源限制。

FinCast的推理效率源于兩大設計選擇：

1) 采用稀疏的專家混合模型（MoE），僅激活部分專家以降低推理成本；

2) 使用塊狀標記化減少序列長度，降低自回歸解碼的計算負擔。

定性結果

零樣本數據集中的FinCast模型在多種金融領域和時間分辨率下表現出強大的模式敏感性和趨勢意識，能夠適應復雜的模式變化。許多最先進的模型在面對非平穩分布時無法有效泛化，部分模型因僅使用均方誤差（MSE）優化而輸出平坦預測，另一些則因容量有限而無法捕捉底層模式。

監督學習模型在面對分布不確定性時傾向于回歸均值，導致輸出平坦預測，無法有效應對復雜的市場變化。監督模型依賴有限的歷史數據，假設未來分布與訓練時相似，這在實際金融市場中往往不成立，導致其效果不如簡單統計方法。

總結和未來工作

FinCast是首個針對金融時間序列預測的基礎模型，解決非平穩性、多領域多樣性和多時間分辨率問題，無需特定任務微調。在零樣本設置下，FinCast的均方誤差（MSE）平均比現有最先進方法低20%。定性分析顯示，FinCast避免了常見的失敗模式，生成趨勢感知、高保真預測。未來計劃在更大、更具多樣性的高質量數據集上進行預訓練。

本文轉載自??靈度智能??，作者：靈度智能