在自動駕駛等許多重要應用中，數據都是實時動態的，并且時不時還會出現一些意外情況。為了高效地應對這一問題，MIT 的研究者受生物神經元啟發而設計了一種新型神經網絡，并且他們還通過理論證明和實驗驗證體現了該神經網絡的有效性。相關代碼也已公布。

麻省理工學院（MIT）的研究者開發出了一種新型的神經網絡，其不僅能在訓練階段學習，而且還能持續不斷地適應。他們將這種靈活的算法命名為「Liquid」網絡，因為其能像「液體」一樣改變其底層的數學方程以持續適應新的輸入數據。這一進展能助力基于動態變化數據的決策任務，比如醫療診斷和自動駕駛中涉及到的任務。

論文地址：https://arxiv.org/pdf/2006.04439.pdf

代碼地址：https://github.com/raminmh/liquid_time_constant_networks

「這條路能邁向未來的機器人控制、自然語言處理、視頻處理——任何形式的時間序列數據處理。」該研究的主要作者 Ramin Hasani 說，「它的潛力確實很大。」

該研究論文是 AAAI 2021 會議入選論文之一。

Hasani 說，為了理解世界，時間序列數據不僅無處不在，而且至關重要，不可或缺。「真實世界都與序列有關。我們的感知方式也是如此——你感知的不是圖像，而是圖像的序列。」他說，「因此，時間序列數據實際上創造了我們的現實。」

[[382710]]

他指出，視頻處理、金融數據和醫療診斷應用都涉及到時間序列，而且這些應用對我們的社會至關重要。這些不斷變化的數據流的變化情況難以預測。但是，如果能夠實時地分析這些數據，并將它們用于預測未來的行為，那么就能極大促進自動駕駛等技術的發展。

Hasani 等研究者設計了一種能適應實時世界系統的變化的神經網絡。神經網絡的設計靈感來自生物大腦，而 Hasani 說他們的這種特定神經網絡的設計靈感直接來自秀麗隱桿線蟲（C. elegans）。他說：「它的神經系統僅有 302 個神經元，但卻可以產生超出預期的復雜動態。」

通過仔細觀察秀麗隱桿線蟲的神經元的激活方式以及彼此通過電脈沖通信的方式，Hasani 編碼出了他的神經網絡。在其用于構建神經網絡的方程式中，參數可基于一組嵌套的微分方程的結果而隨時間變化。

算法 1：由聚合的常微分方程（ODE）求解算法實現的 Liquid 時間常量（LTC）循環神經網絡，其中 θ 是參數空間，f 可以是任意激活函數。

算法 2：通過隨時間反向傳播（BPTT）訓練 LTC。

這種靈活性是其中的關鍵。在訓練階段之后，大多數神經網絡的行為都會固定下來，這意味著它們難以根據輸入數據流的變化而進行調整。Hasani 說他的Liquid 網絡的流動性使其能更彈性地應對意料之外的數據或噪聲數據，比如滂沱的暴雨遮蔽了自動駕駛汽車的攝像機視野。「也就是說，它更加魯棒。」

Hasani 并補充道網絡靈活性還有另一大優勢：「它也更能被解釋。」

Hasani 說他的Liquid 網絡規避了其它神經網絡常見的難解性。「只是改變神經元的表征方式，你就可以探索以其它方式無法探索的某種程度的復雜性。」Hasani 采用的改變方式是使用微分方程。得益于這種數量少但卻具有高度表征能力的神經元，可以更輕松地窺探網絡決策過程的「黑箱」并診斷網絡為何具有某種特定的特征。

Hasani 說：「這個模型本身具有豐富的表現力。」這能夠幫助工程師理解和提升 Liquid 網絡的性能。

圖 1：通過軌跡長度衡量表現力，靜態深度網絡的軌跡隱含空間會隨著輸入穿過隱含層而變得更加復雜。

圖 2：通過軌跡長度衡量表現力，使用不同激活函數的 LTC。

Hasani 的網絡在一系列測試中都取得了出色表現。在從大氣化學到交通模式分析等多種任務中，新提出的方法在預測未來值方面的表現優于其它當前最佳時間序列算法幾個百分點。此外，由于該網絡尺寸小，因此在測試的計算成本也低得多。「每個人都在談擴大他們的網絡」，Hasani 說，「我們想的是縮小，以便獲得更少但更豐富的節點。」

時間序列預測結果。

Hasani 計劃繼續改進該系統，并探索其行業應用。「受大自然啟發，我們已經有了一個得到證明的更有表現力的神經網絡。但這個過程才剛剛開始。」他說，「顯而易見的問題是：我們如何擴展它？我們認為這類網絡將成為未來智能系統的關鍵組件。」