技術總言：

這次主要說最近發展的無監督特征學習和深入學習，其對于時間序列模型問題的評價。這些技術已經展現了希望對于建模靜態數據，如計算機視覺，把它們應用到時間序列數據正在獲得越來越多的關注。這次主要概述了時間序列數據存在的特殊挑戰，并提供了工作的評價，其含有把時間序列應用到非監督特征學習算法或者是有選擇的促成特征學習算法的變動去考慮目前時間序列數據的挑戰。

當 人們大腦在學習任務的時候，如語言、視覺和運動，時間是一種自然元素總是存在的。大多數真實世界的數據有一些時間成份，無論是自然過程的測量值(如天氣，聲波)或者人為的(股市，機器人)。時間序列數據的分析一直為積極研究的課題幾十年了，被認為是由 Yang 和 Wu 作為數據挖掘的十大挑戰性的問題之一，由于其獨特的性質。建模連續數據的傳統方法包括從假定時間序列模型參數的估計，如自回歸模型和線性動力系統( LDS )，和著名的隱馬爾可夫模型( HMM )。估計的參數然后可以在分類器被用作特征去執行分類。然而，更復雜的，更高維的和更繁雜的真實世界的時間序列數據不能被分析的方程式描述，用方程的參數去解決，因為動力學要么太復雜或未知和傳統的淺方法，只含有一個小非線性操作的數，不必精確地模擬這種復雜的數據的能力。為了更好的模型完成復雜的真實世界數據，一種方法是開發強大的功能，獲取相關信息。然而，開發特有領域的特征對于每個任務是昂貴的，耗時的并且需要數據的專門知識?？晒┻x擇的方法是使用無監督特征學習，以便從未標簽數據學到了一層特征表達。其有優勢是因為未標簽的數據多且容易獲得，利用其特征從數據中學習而不是手工獲知。另一個好處是特征表現這些層可以被堆疊以產生深的網絡，這是更能夠在數據中建模復雜結構。深層網絡已在多項基準測試數據集中被用來實現國家的最先進的成果和解決困難的 AI 任務。然而，特征學習倍受社會各界重點關注，一直放在開發靜態數據模型然而時間序列數據沒有那么多關注。

時間序列數據的性質

從一個連續的采樣數據點的時間序列數據，隨時間實值一直在處理。有很多的時間序列數據的特性，使得它與其他類型的數據的不同。

首先，采樣的時間序列數據往往包含很多噪聲且具有高的維數。為了處理這一點，如降維技術、小波分析或濾波的信號處理技術可以應用于以去除一些噪聲和降維。利用特征提取具有許多優點。然而，有價值的信息可能丟失，特征和信號處理技術的選擇可能需要數據的專業知識。

第二是時間序列數據的特征是不能確定有可用的足夠信息來了解整個過程。例如，在電子鼻數據，其中傳感器陣列的各種選擇性，對于許多氣體的組合去識別特定的氣味，但不保證該傳感器的選擇實際上能夠識別目標的氣味。在金融數據觀測單一股票，這僅測量一個復雜的系統的一個很小的方面，則很可能沒有足夠的信息去預測未來。

此外，時間序列對時間變量有明顯依賴性。在時間 t 給定輸入值 x ( t )，該模型預測為 Y ( t )，但在稍后的時間相同的輸入可以與不同的預測相關聯。為了解決這個問題，該模型包括從過去到現在更多的數據或者必須具有的過去的輸入的存儲器。對于長期依賴的第一種方法可以使輸入尺寸過大的模型來處理。另一個挑戰是，時間依賴性的長度可能是未知的。

許多時間序列也是非靜止的，這意味著該數據的特征，如平均值，方差和頻率，隨時間的變化的。對于一些時間序列數據，在頻率的變化是如此相關，在頻域比在時域這是更有利去工作的。

最后，當涉及到不變性，時間序列數據和其它類型的數據會有不同。在其他領域，例如計算機視覺，它最重要的是要有特征，不變的平移，旋轉，和比例。時間序列大多數特征需要是不變平移。

總之時間序列數據是高維和復雜的具有獨特性質的，它們的分析和建模具有挑戰性。有很大興趣在時間序列數據表達，為了將維且提取相關的信息。關鍵對于任何成功的應用在于選擇正確的表示。各種時序問題包含了不同程度的性質，在本節和先驗知識或假設有關這些性質的討論，經常被注入在所選擇的模型或特征表達。非標簽數據學習表達代替手工設置特征越來越感興趣。無監督特征學習已經證明是成功的，在學習的特征表現層的靜態數據集，且可與深度網絡相結合去創造更強大的學習模型。但是，特征學習的時間序列數據必須去修改，為了調整時間序列數據的特征，為了捕捉時間信息。

非監督學習和深度學習

接下來主要介紹用于無監督特征學習模型和技術，用于建模時間關系。從未標簽數據學習特征的優點是大量未標簽的數據可以被利用，但比手工設定的特征可能有更好的特征可以學到。這兩個優點減少了需要數據的專門知識。

受限玻爾茲曼機

受限波爾茲曼機( RBM )是一個概率模型，它輸入單元(可見) x 和隱藏單元(隱藏) h 如圖 1 所示。

圖 1 靜態數據的 2 層 RBM

可見和隱藏單元與一個權重矩陣相連， W 和有偏置向量分別為 C 和 B ?？梢姷暮碗[藏單位之間沒有聯系。 RBM 可用于模擬靜態數據。能量函數和聯合分布對于給定的可見和隱藏向量定義為：

其中 Z 是分區功能，確保了分布是歸一化的。對于二進制可見和隱藏單元，隱藏的單元被激活給出可見向量 x 的概率，可視單元被激活給出隱藏向量 h 的概率，由下式給出：

其中σ(·) 是所有訓練樣本的均值。幾個 RBMs 可以堆疊產生一個深度信念網絡( DBM )。在一個深度網絡里，在第一層隱藏單元的激活是第二層的輸入。

條件 RNM

RBM模型的多元時間序列數據的擴展是條件 RBM ( cRBM )，如圖 2 所示。一個類似的模式是時間 RBM 。

圖 2 兩層條件 RBM 的時間序列數據，用于第一和第二層的模型順序分別是 3 和 2

該 cRBM 由自回歸權重組成，該模型的短期時間結構，和以往可見單元到當前隱含單元之間的連接。 cRBM 的偏置向量取決于先前可見單元且被定義為：

其中Ai是在時間 t-i 的可見單元和目前可見單元之間的自回歸連接，Bi是權重矩陣連接可視層在時間 t-i 到目前的隱藏層。模型順序由常數 n 定義。對于上升或下降一層的概率是：

系數θ={W,b,c,A,B}，用對比的分歧進行培訓。就像 RBM ，所述的 cRBM 也可以作為一個模塊來創建深度網絡。

自動編碼

不具有一個配分函數的模型是自動編碼，參見圖 3 。自動編碼首次引入作為一個降維算法。事實上，一個基本的線性自編碼實質上學習相同的表示作為主成分分析( PCA )?？梢妴卧母鲗?x ，隱單元 h 和重建的可見單元，通過連接權重矩陣W1和W2，隱含層和重建層分別具有偏置矢量b1 和b2。它是常見的自動編碼器去并列權重，即W2=(W1) T 。這工作可以作為一個調整裝置，因為它限制了允許的參數空間并降低了參數的數目去學習。前饋激活計算公式為：

其中 σ(·) 是激活函數。由于 RBM ，一個常見的選擇是邏輯激活函數。最優值( the cost function )被最小化表示為：

圖3 靜態時間序列輸入的一個一層的自動編碼器。輸入是當前和之前可視數據 x 框架的連接。 x 的重建表示為^X。

遞歸神經網絡

一個模型已用于建模順序數據的是遞推神經網絡( RNN )。通常一個 RNN 從前饋網絡通過連接的神經元的輸出到其輸入端獲得的，參見圖 4 。短期內時間相關性由隱藏到隱藏連接建模，而無需使用任何時間延遲。它們經常迭代訓練，并通過被稱為反向傳播通時間( BPTT )的過程。當時間展開時 RNNs 可以被看作是非常深的網絡，其在每一層共享參數。這導致梯度的消失的問題，并已促使二階方法的深體系和非監督預訓練的探索。對訓練 RNNs 策略概述由 Sutskever 提供。一個著名的拓展是使用特制的長短期記憶細胞，其能更好地發現長期相關性。

圖4 遞推神經網絡( RNN )。輸入 x 被變換到輸出表示 y ，其通過隱單位 h 。隱單元連接當前時間幀的輸入值和隱單元從先前時間幀。

深度學習

這個所介紹的隱單元是使用非線性激活函數。這種非線性使得一個更富有表現的模型能夠學習更抽象的表示，當多個模塊被堆疊在彼此的頂部以形成深度網絡(如果線性特征被堆疊的結果仍然是一個線性操作)。深度網絡的目標是在較低層構建特征，其將會區分開輸入數據變化的因素，然后組合這些表示在更高層。已提出了一個深度網絡將概括的很好，因為它具有更完整的表達。然而，當誤差信號反向傳播時，在梯度消失的問題中隨著訓練隱單元的多個層會很困難。這可以通過在每一層執行無監督貪婪逐層預訓練來解決。這作為正規化的一個不尋常的形式，避免了較差的局部最小值并給出比隨機初始化一個更好的初始化。然而，與其他因素相比參數初始化的重要性是不一至關重要的，例如輸入連接和結構。

卷積和池化

這種技術是特別有趣的高維數據，比如圖像和時間序列數據，其就是是卷積。在一個卷積設置中，隱單元不完全連接到輸入而是分為互補局部連接的段，見圖 5 。卷積已應用于 RBMs 和自動編碼器去創建卷積 RBMs ( convRBM )和卷積自動編碼器( convAE )。時延神經網絡( TDNN )是人工神經網絡( ANN )的一個特例，通過對重疊窗口進行卷積利用輸入的時間結構。

圖5 兩層的卷積神經網絡

一個常用的操作是與卷積一起使用，它通過一個最大、平均或直方圖的操作結合輸入或特征空間附近的值，其就是池化。池的目的是實現小局部變形的不變性，并減少了特征空間的維數。 Lee 等人的工作引入了概率最大 - 池化在卷積 RBMS 的上下文中。時空 DBN ( ST-DBN )使用卷積 RBMs 與空間池化層和時域池化層一起從時空數據建立不變性特征。

時間相干性

有很多其他方法除了體系結構，其可用于捕獲數據中的時間相干性。一種方法是引入一個平滑懲罰在正規化的隱變量。這是通過最小化的變化的隱藏單元從一個幀到下一幀激活通過如下完成：

這背后的動機是連續數據的隱單元激活不應有太大變化，如果時間相關性數據按時間順序被反饋到該模型。其他策略包括懲罰的平方差，慢速特征分析，或作為其他因素的函數，例如在輸入數據中的變化，以便適應慢速和快速變化的輸入數據。

時間相干性是關系到不變性特征的表示，因為這兩種方法要實現在輸入數據中特征表達的微小變化。因此建議在，其姿勢參數和仿射變換應被建模，而不是使用不變性特征表示。在這種情況下，時間相干性應超過一些組，如位置和姿勢的目標，而不是單一的標量。這例子可以用結構稀疏性懲罰來實現。

小結一下

表 1 給出了簡要介紹模型的總結。第一列表示模型是否能夠捕捉時序關系。一個模型捕捉時序關系由具過去輸入的內存完成。一個模型的內存，在第二列中指示，意味著在當前幀上有多少步及時回到輸入。沒有時序次序，特征序列的任何排列會產生相同的分布。一個存儲器的實現在模型之間執行不同。在一個 cRBM ，延遲被用于創建關于過去可見單元的短期相關性。長期相關性來自模擬后續層。這意味著對于一個 cRBM 存儲器的長度增加對于每個添加層。在一層 cRBM 模型次序中通常低于 5 個輸入大小的大約 50 左右。在輸入尺寸減小將允許更高模型次序。在一個 RNN 中，隱單元在當前時間幀受到在先前時間幀隱單元狀態的影響。這可以創建帶有潛在的無限時間幀的持續時間的連鎖反應。另一方面，這種連鎖反應可以通過用忘記門避免。利用長短期記憶或 hessian-free 優化可以產生遞推網絡，其擁有超過 100 個時間步驟的記憶。門控 RBM 和卷積 GRBM 模型在一對駛入向量之間轉換，所以這些模型的內存為 2 。時空 DBN 模型 6 個輸出序列來自空間池化層，對于 GRBM 這是一個較長內存，但使用了一個較低的輸入大小。

在表 1 中的最后一列表示假如模型生成(相對于判別)。一個生成模型可以產生觀測數據給予一個隱藏表示，并且這能力主要是用于產生未來的時間步長的合成數據。盡管自動編碼器沒有生成，一個概率的解釋可以使用自動編碼器的得分生成。

表 1 常用模型的特征學習的總結

經典時間序列問題

在這我們將重點介紹一些常見的時間序列問題和模型，并已解決他們在文獻中給出。我們將專注于復雜問題，對于特征表達需要用隱變量，其中表示完全或部分從未標簽的數據學習。那會在本節呈現經典的時間序列問題，總結如表 2 。

表 2 常用時間序列問題的總結

舉個小例子：視頻

視頻數據是隨著時間推移的圖像系列(時空數據)，并可以因此被看作是高維的時序數據。如圖 6 表示從 KTH 行為識別數據集的圖像序列。傳統的方法是模擬視頻流，是將用共同的特征檢測每一個個體的靜態圖像和檢測有趣的點，如 SIFT 或 HOG 。這些特征是特定域的靜態圖像，并且不容易擴展到其他領域，例如視頻。

圖6 四個圖像從 100 、 105 、 110 和 115 幀上運行的人的 KTH 動作識別數據集。 KTH 數據集還包含走路、慢跑、打拳、揮手和熱烈鼓掌的視頻。

采取 Stavens 和特龍的方法學習自己的領域優化特征，而不是用預先定義的特征，但仍來自靜態圖像。更好的方法是去模擬視頻，去學習圖像的轉換而不是用靜態圖像工作。 GRBM 已被用于這一目的，其中輸入 x ， GRBM 在一個時間幀是完整的圖像，且輸出 y 是隨后時間幀中的完整圖像。然而，由于網絡是全連接到圖像，該方法不能很好地擴展到更大的圖像，并在多個位置的局部變換必須重新學習。

利用概率最大池化的 GRBM 的卷積版本被泰勒等人提出。利用卷積減少參數的學習數量，允許更大的輸入規模，更好地處理可能出現在圖像中的任何地方的局部仿射變換。該模型是對合成數據和多個基準數據集的驗證，包括 KTH 行為識別數據集。

Le等人的工作提出使用獨立子空間分析( ISA )的擴展，無監督的時空特征學習方法。該擴展包括分層(疊)卷積 ISA 模塊連同池化一起。 ISA 的缺點是它不能很好地擴展到大規模的輸入。卷積和堆疊解決了這個問題，是通過學習輸入數據的較小塊。該方法的若干基準組包括 KTH 被驗證。該方法的一個優點是， ISA 的使用減少了在 RBM 為基礎的方法的調整，例如學習率，權重衰減，收斂參數等。

模擬視頻中的時間關系也已經用時間池化完成。 Chen 和 Freitas 的工作采用卷積 RBMs 作為空間池的塊，然后在空間池化單元執行空間池化。該方法被稱為時空深度信念網絡( ST-DBN )。 STDBN 允許在空間和時間的不變性和統計獨立性。相比于標準卷積 DBN 的方法來實現上述應用，如動作識別和視頻降噪性能都很優越。

對于模擬視頻時間相干性的使用是由 Zou 等人完成的，其中自動編碼器上的池化單元的時間差 L1-coast 是用來學習特征的，其改善了靜止圖像的目標識別。對于學習表達， Hyvärinende 的工作也用時間信息為準則。

深度學習的采用，特征學習和用池化卷積，已經推動了視頻處理的進展。模擬視頻數據流是一個自然延續對于深度學習算法，因為它們已被證明是成功的，在靜態圖像中構建有用的特征。在視頻中通過重點學習時間特征，在靜態圖像上的性能可以提高，從而激發了需要繼續發展深度學習的算法，去捕捉時間關系。早期的嘗試在延伸深度學習算法，視頻數據通過模擬兩幀之間的轉換完成的。時間池化的使用擴展了時間相關性，模型可以學習超過一單獨幀的轉換。但是，時間相關性已被建模，其仍然只是幾幀。對于視頻處理的一個可能的未來發展方向是看模型可以學習更長的時間相關性。

再來一個小例子： 股市預測

股票市場數據是高度復雜和難以預料的，即使對于人類專家，由于一些外部因素，例如，政治、全球經濟和交易商期望。在股票市場數據的趨勢傾向于非線性、不確定的和非平穩的。圖 7 顯示了超過十年的 Dow Jones 工業平均指數( DJOI )。

圖7 十年的 Dow Jones 工業平均指數( DJOI )

根據有效市場假說( EMH )，股票市場價格遵循隨機游走模式，這意味著一個股有相同的概率去上升，因為它已往下降，導致該預測不能有超過 50 個%的精度。 EMH 狀態的股價是由“新聞”推動，而不是現在和過去的價格。然而它也被認為股票市場的價格遵循隨機游走且它們可以預測。比起十年前，現金獲取新聞和股票信息看起來是非常不同的。有一個例子，它已經顯示如果從在線社交媒體，如 Twitter feed 和在線聊天活動中提取進一步信息預測可以被改善。

一種模型已經出現并證明是適合股市預測的一個模型就是人工神經網絡( ANN )。這是因為它能夠處理非線性復雜系統的能力。 ANNs 的調查適用于股市預測在給出。然而， ANN 的大多數方法應用于股票預測給出了不理想的結果。神經網絡的反饋也試被試用過，例如 TDNN 的遞歸版本，具有 RNN 的小波變換，反饋狀態網絡。許多這些方法都是直接對原始數據應用，而其他報紙更注重特征選擇的步驟。

總之，可以斷定仍有改進的空間用于安全和精確的庫存預測系統的現有技術。如果從影響股市來源的額外信息看，它可以被測量和獲取，如社交媒體廣大市民的意見，成交量，市場特定領域的知識以及政治和經濟因素，它可以與股價數據結合在一起，實現更高的股票價格的預測。應用小范圍的成功，一層神經網絡的股市預測，并認識到有必要增加更多的信息去做出更好的預測，表明對于股市預測的未來發展方向是采用組合數據的，對于更強大的模型能夠處理復雜的，高維數據。深度學習方法的多元時間序列符合這一描述，并為金融領域提供了新的興趣方法，對于深度學習共同體的新的挑戰是筆者的知識還沒有被嘗試法。

大總結

無監督特征學習和深度學習技術已成功應用于多種領域中。而在深學習和無監督特征學習的已經注重在計算機視覺領域，本次分享回顧了一些深度學習方法對時間序列域的成功應用。其中一些方法已處理輸入作為靜態數據，但最成功的是那些已經修改了的深度學習模型去更好地處理時間序列數據。

處理時間序列數據作為靜態輸入的問題是重要的時間不被捕獲。建模時間序列面臨許多作為建模靜態數據一樣的挑戰，如用高維觀測和變量之間非線性關系的對應，通過簡單忽略時間和應用靜態數據的模式，到時間序列之一忽略許多豐富結構中存在的數據。當采用這種方法，當前輸入幀的上下文丟失，且唯一時間的相關性被捕獲是在輸入規模之內。為了捕捉長期相關性，輸入規模已被增加，這可以是不切實際的多元信號或如果數據具有非常長期相關性。解決方案是使用一個模型，結合時間相干性，執行時域池化，或隱單位激活的模型序列。

模型的選擇和數據應該如何被呈現模型高度依賴于數據的類型。選擇模型之內，有附加的設計選擇就連接、結構和超參數而言。對于這些原因，盡管許多無監督特征學習模型對于當前域提供去減輕想出有用特征的用戶，對于應用它們到時間序列數據仍有諸多挑戰。還值得一提的是，許多工作是從輸入數據構建一個有用特征，事實還是從預處理特征使用輸入數據。

深度學習方法提供更好的表達性和分類在眾多的時間序列問題相比于比較淺的方法，當設置和適當訓練的時候。仍有余地，特別是改善學習算法對于時間序列數據，例如在執行信號選擇，在多變量輸入數據中處理榮譽信號。

另一種可能的未來發展方向是發展模型，在學習或使用模型平均改變其內部結構，為了捕捉短期和長期的時間相關性。在這方面還需要進一步研究，去發展時間序列建模算法，學習更好的特征和更容易更快的訓練模型。因此，需要較少關注先前處理流水線對于特定的時間序列的問題，更注重學習更好特征表達對于一個通用的算法，且對于其結構化數據不管該應用程序。