普林斯頓大學(xué)提出首個(gè)基于MoE的稀疏時(shí)序預(yù)測(cè)大模型，參數(shù)量擴(kuò)展到2.4billion

發(fā)布于 2024-9-29 15:24

瀏覽

0收藏

今天給大家介紹一篇普林斯頓大學(xué)提出的時(shí)間序列大模型工作，是首個(gè)基于MoE的百萬(wàn)級(jí)別參數(shù)時(shí)間序列大模型，將時(shí)序大模型參數(shù)量擴(kuò)展到2.4billion的水平，在多個(gè)數(shù)據(jù)集上取得了顯著優(yōu)于其他時(shí)間序列大模型的效果。

普林斯頓大學(xué)提出首個(gè)基于MoE的稀疏時(shí)序預(yù)測(cè)大模型，參數(shù)量擴(kuò)展到2.4billion-AI.x社區(qū)

論文標(biāo)題：TIME-MOE: BILLION-SCALE TIME SERIES FOUNDATION MODELS WITH MIXTURE OF EXPERTS

下載地址：https://arxiv.org/pdf/2409.16040v1

1、背景

時(shí)間序列大模型是目前的一個(gè)研究熱點(diǎn)，很多工作都利用大量的時(shí)間序列數(shù)據(jù)訓(xùn)練專屬于時(shí)間序列領(lǐng)域的大模型。但是，仍然有很多大模型領(lǐng)域的研究問(wèn)題在時(shí)間序列大模型領(lǐng)域中沒(méi)有得到深入研究。例如大模型中已經(jīng)有一些基于MoE的稀疏模型結(jié)構(gòu)取得顯著效果，但是在時(shí)間序列領(lǐng)域還沒(méi)有這方面研究。此外，時(shí)間序列大模型也面臨著靈活性、可擴(kuò)展性等問(wèn)題。

為了解決這些問(wèn)題，本文提出基于MoE的稀疏時(shí)間序列大模型，將參數(shù)量擴(kuò)展到例2.4billion，取得了顯著的效果提升。下面介紹一篇Time-MoE的模型結(jié)構(gòu)。

2、建模方法

Time-MoE主要包括4個(gè)核心模塊：輸入Embedding處理、MoE結(jié)構(gòu)、多分辨率建模、訓(xùn)練數(shù)據(jù)和損失函數(shù)。

在輸入Embedding的處理上，區(qū)別于現(xiàn)在主流的PatchTST等patch粒度的時(shí)序建模方法（滑動(dòng)窗口劃分子序列過(guò)MLP生成Embedding），Time-MoE采用了點(diǎn)維度的Embedding生成方法，以最大程度保留完整的時(shí)序信息輸入后續(xù)模型。時(shí)間序列中的每個(gè)數(shù)據(jù)點(diǎn)，通過(guò)SwiGLU生成Embedding。SwiGLU是目前LLaMa等大語(yǔ)言模型的Embedding生成網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)門控的形式實(shí)現(xiàn)對(duì)輸入信息的選擇，這里將其應(yīng)用到時(shí)間序列領(lǐng)域。GLU和UYSwiGLU的計(jì)算公式如下：

普林斯頓大學(xué)提出首個(gè)基于MoE的稀疏時(shí)序預(yù)測(cè)大模型，參數(shù)量擴(kuò)展到2.4billion-AI.x社區(qū)

在MoE結(jié)構(gòu)上，Time-MoE采用MoE的結(jié)構(gòu)構(gòu)建稀疏網(wǎng)絡(luò)。整體模型結(jié)構(gòu)是一個(gè)Decoder-only的生成式Transfomrer結(jié)構(gòu)。將每一個(gè)FFN層替換成一個(gè)MoE網(wǎng)絡(luò)，實(shí)現(xiàn)這部分的稀疏結(jié)構(gòu)，這也是語(yǔ)言模型中的一種稀疏化方法的引入。每個(gè)時(shí)間序列數(shù)據(jù)點(diǎn)會(huì)根據(jù)一個(gè)router進(jìn)行各個(gè)專家的選擇，找到相應(yīng)FFN子網(wǎng)絡(luò)進(jìn)行前向傳播。

在多分辨率建模上，Time-MoE使用多個(gè)不同的輸出頭，每個(gè)輸出頭對(duì)應(yīng)一個(gè)分辨率的預(yù)測(cè)結(jié)果，實(shí)現(xiàn)多分辨率的同時(shí)預(yù)測(cè)。

普林斯頓大學(xué)提出首個(gè)基于MoE的稀疏時(shí)序預(yù)測(cè)大模型，參數(shù)量擴(kuò)展到2.4billion-AI.x社區(qū)

在訓(xùn)練過(guò)程中，文中構(gòu)建了包括9個(gè)domain、300billion的時(shí)間序列樣本點(diǎn)的數(shù)據(jù)集。損失函數(shù)使用Huber loss，這是一種MSE和MAE的融合體，用來(lái)緩解MAE對(duì)于異常點(diǎn)的敏感性。同時(shí)，為了防止MoE的門權(quán)重都集中在少量專家上，引入復(fù)雜均衡的損失函數(shù)，控制各個(gè)門的樣本點(diǎn)分配比例，防止贏者通吃現(xiàn)象的發(fā)生。