我們正處于這樣一個時代：大型基礎模型（大規模通用神經網絡以無監督的方式使用大量不同的數據進行預訓練）徹底改變計算機視覺、自然語言處理以及最近的時間序列預測等領域。這種模型通過實現零樣本預測來重塑時間序列預測領域，允許使用新的、未見過的數據進行預測，無需針對每個數據集進行重新訓練。這一突破顯著縮減了開發時間和成本，簡化了為不同任務創建和微調模型的過程。

機器學習方法在時間序列預測中的作用首次在M4和M5預測競賽中得到了突出體現，基于機器學習的模型在這類競賽中的表現首次顯著優于傳統的統計方法。在2020年的M5競賽中，LightGBM、DeepAR和N-BEATS等先進模型展示了納入外生變量（比如天氣或假期等影響數據但不屬于核心時間序列的因素）的效果。這種方法帶來了前所未有的預測準確性。

這類競賽強調了從多個相關序列中交叉學習的重要性，為開發專門為時間序列分析設計的基礎模型鋪平了道路。它們還激發了人們對用于時間序列預測的機器學習模型的興趣，因為機器學習模型能夠識別復雜的時間模式，并整合外生變量，正日益取代統計方法。（注意：在短期單變量時間序列預測方面，統計方法的表現仍常常勝過機器學習模型。）

基礎預測模型時間表

2023年10月，TimeGPT-1作為首批基礎預測模型之一而發布，該模型旨在對不同時間序列數據集進行泛化，無需針對每個數據集進行特定的訓練。與傳統的預測方法不同，基礎預測模型利用大量的預訓練數據進行零樣本預測。這一突破使企業得以避免了為特定任務訓練和調優模型這個時間長、開銷大的過程，為處理動態變化數據的行業提供了適應性很強的解決方案。

隨后在2024年2月，Lag-Llama發布。它專注于通過關注滯后依賴關系來進行長期預測，滯后依賴關系是時間序列中過去值和未來結果之間的時間相關性。滯后依賴關系在金融和能源等領域尤為重要；在這些領域，當前趨勢常常受到過去長期事件的嚴重影響。通過有效地捕獲這些依賴關系，Lag-Llama提高了在較長時間范圍至關重要的情況下的預測準確性。

2024年3月，一個簡單但高效的預訓練概率時間序列模型框架Chronos問世。Chronos通過縮放和量化來標記時間序列值，即將連續的數值數據轉換成離散的類別。這讓它得以將基于Transformer的語言模型（通常用于文本生成）運用于時間序列數據。Transformer擅長識別序列中的模式，而通過將時間序列視為標記序列，Chronos使這些模型能夠有效地預測未來的值。Chronos基于T5模型系列（參數從2000萬個到7.10億個不等），使用公共和合成數據集進行預訓練。針對42個數據集的基準測試表明，Chronos在熟悉的數據集上的性能明顯優于其他方法，在新數據上的零樣本性能也很出色。這種多功能性使Chronos成為零售、能源和醫療保健等行業一種強大的預測工具，它在這些行業很好地適用于各種數據源。

2024年4月，谷歌推出了TimesFM，這是一個使用1000億個實際時間點進行預訓練的純解碼器基礎模型。與使用編碼器和解碼器的標準Transformer模型不同，TimesFM專注于僅根據過去的輸入一步一步地生成預測，因而是時間序列預測的理想選擇。像TimesFM這樣的基礎模型不同于傳統的Transformer模型，后者通常需要針對特定任務的訓練，并且在不同領域的通用性較差。TimesFM在零售、金融和自然科學等領域能夠直接提供準確的預測，因而極具價值，因為它不需要使用新的時間序列數據進行大量的重新訓練。

2024年5月，Salesforce推出了開源基礎預測模型Moirai，旨在支持概率零樣本預測和處理外生特征。Moirai克服了時間序列預測方面的挑戰，比如交叉頻率學習、適應多個變量以及管理不同的分布屬性。它建立在基于掩碼編碼器的通用時間序列預測Transformer（MOIRAI）架構上，充分利用了大規模開放時間序列存檔（LOTSA），包括橫跨9個領域的270多億個觀測數據。借助任意變量注意力和靈活參數分布等技術，Moirai可以針對不同的數據集提供易于擴展的零樣本預測，無需針對特定任務進行重新訓練，這標志著向通用時間序列預測邁出了一大步。

IBM的Tiny Time Mixers（TTM）于2024年6月發布，提供了傳統時間序列基礎模型的輕量級替代方案。TTM是一種基于MLP的模型，依賴全連接的神經網絡，而不是使用Transformer的注意力機制。像自適應補丁和分辨率前綴調優這樣的技術創新讓TTM可以在處理多變量預測和外生變量的同時，有效地適用于不同的數據集。高效率使其成為計算資源有限的低延遲環境的一種理想選擇。

AutoLab的MOMENT也于2024年5月發布，是一種為通用時間序列分析設計的開源基礎模型系列。MOMENT克服了時間序列數據預訓練方面的三大挑戰：缺少大型內聚公共時間序列存儲庫、時間序列數據的多種特征（比如可變采樣率和分辨率）以及缺少用于評估模型的既定基準。為了解決這些問題，AutoLab引入了時間序列堆（Time Series Pile），這是跨多個領域的公共時間序列數據集合，并開發了一套基準來評估MOMENT處理短期和長期預測、分類、異常檢測和填補等任務的表現。借助最小化微調，MOMENT在處理這些任務時提供了令人印象深刻的零樣本學習性能，提供了易于擴展的通用時間序列模型。

總之，這些模型代表了時間序列預測的新前沿。它們為各行各業提供了生成更準確的預測、識別復雜模式以及改進決策的能力，同時減少了對大量的特定領域訓練的需求。

時間序列和語言模型的未來：文本數據與傳感器數據相結合

展望未來，時間序列模型與語言模型相結合正帶來令人興奮的創新。像Chronos、Moirai和TimesFM這樣的模型正將時間序列預測推向新的高峰，但下一個前沿是將傳統傳感器數據與非結構化文本相結合，以獲得更好的結果。

以汽車行業為例，借助NLP將傳感器數據與技術人員報告和服務記錄相結合，以全面深入地了解潛在的維護問題。在醫療保健領域，病人的實時監測與醫生的筆記相結合，可以預測早期診斷的健康結果。零售和拼車公司則利用社交媒體和活動數據以及時間序列預測，更準確地預測重大活動期間的拼車需求或銷售高峰。

通過結合這兩種強大的數據類型，物聯網、醫療保健和物流等行業正在更深入、更實時地了解當前發生的情況和即將發生的趨勢，從而做出更明智的決策和更準確的預測。

原文標題：??The Evolution of Time-Series Models: AI Leading a New Forecasting Era?，作者：Anais Dotis-Georgiou