近日，由麻省理工學(xué)院孵化的AI初創(chuàng)企業(yè)Liquid?AI正式推出其三款全新的“液態(tài)基礎(chǔ)模型”(Liquid?Foundation?Model，LFM)，分別為專(zhuān)為資源受限環(huán)境設(shè)計(jì)的LFM?1.3B、面向邊緣部署的LFM?3B，以及部署在云服務(wù)器上以處理復(fù)雜用例的LFM?40B?MoE。

事實(shí)上，LFM?1.3B在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，性能超越過(guò)同等規(guī)模Llama3.2等基于Transformer架構(gòu)的模型，LFM?3B可以與更大規(guī)模的模型進(jìn)行競(jìng)爭(zhēng)，展示了出色的可擴(kuò)展性和靈活性，LFM?40B能夠在保持性能與效率平衡的同時(shí)，超越規(guī)模更大的模型。

LFM背后的框架

據(jù)Liquid?AI介紹，LFM兼顧性能和效率。簡(jiǎn)單來(lái)說(shuō)，就是可以在使用最少的系統(tǒng)內(nèi)存的同時(shí)提供卓越的計(jì)算能力。

據(jù)了解，LFM基于動(dòng)態(tài)系統(tǒng)、數(shù)值線(xiàn)性代數(shù)和信號(hào)處理，非常適合處理各種類(lèi)型的序列數(shù)據(jù)，包括文本、音頻、圖像、視頻和信號(hào)。實(shí)際上，Liquid?AI首次引起關(guān)注是在去年12月份，當(dāng)時(shí)該公司籌集了3760萬(wàn)美元的種子輪融資，由多家風(fēng)險(xiǎn)投資公司和知名天使投資人參與，估值達(dá)到3.03億美元。

Liquid?AI解釋稱(chēng)，LFM基于一種液態(tài)神經(jīng)網(wǎng)絡(luò)(Liquid?Neural?Net，LNN)，從第一性原理出發(fā)而構(gòu)建，其計(jì)算單元植根于動(dòng)態(tài)系統(tǒng)理論、信號(hào)處理和數(shù)值線(xiàn)性代數(shù)，最初在麻省理工學(xué)院的計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室開(kāi)發(fā)。

相較于傳統(tǒng)深度學(xué)習(xí)模型需要數(shù)千個(gè)神經(jīng)元來(lái)執(zhí)行計(jì)算任務(wù)不同，LNN可以用更少的神經(jīng)元實(shí)現(xiàn)相同的效果。LNN通過(guò)將這些神經(jīng)元與創(chuàng)新的數(shù)學(xué)公式相結(jié)合來(lái)實(shí)現(xiàn)這一目標(biāo)，使其能夠用更少的資源做更多的事情。

值得一提的是，LNN在涉及連續(xù)順序數(shù)據(jù)的用例中表現(xiàn)出色，具體來(lái)看：

第一，時(shí)間序列數(shù)據(jù)處理與預(yù)測(cè)。研究人員在對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行建模時(shí)面臨著一些挑戰(zhàn)，包括時(shí)間依賴(lài)性、非平穩(wěn)性和時(shí)間序列數(shù)據(jù)中的噪聲。

LNN是專(zhuān)門(mén)為時(shí)間序列數(shù)據(jù)處理和預(yù)測(cè)而構(gòu)建的。根據(jù)麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)博士后哈薩尼(Hasani)的說(shuō)法，時(shí)間序列數(shù)據(jù)無(wú)處不在，是幫助我們了解世界的重要參考。“現(xiàn)實(shí)世界完全由序列組成。即使是我們的感知，也是如此——你不是在感知圖像，你是在感知一系列圖像。”

第二，圖像和視頻處理。LNN可以執(zhí)行圖像處理和基于視覺(jué)的任務(wù)，如目標(biāo)跟蹤、圖像分割和識(shí)別。它們的動(dòng)態(tài)特性使它們能夠根據(jù)環(huán)境的復(fù)雜性、模式和時(shí)間動(dòng)態(tài)不斷改進(jìn)。

例如，麻省理工學(xué)院的研究人員發(fā)現(xiàn)，無(wú)人機(jī)可以通過(guò)一個(gè)20,000參數(shù)的小型LNN模型進(jìn)行引導(dǎo)，該模型在導(dǎo)航以前看不見(jiàn)的環(huán)境方面比其他神經(jīng)網(wǎng)絡(luò)表現(xiàn)更好。這些出色的導(dǎo)航能力可用于制造更精確的自動(dòng)駕駛汽車(chē)。

第三，自然語(yǔ)言理解。由于其適應(yīng)性、實(shí)時(shí)學(xué)習(xí)能力和動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)，LNN非常擅長(zhǎng)理解自然語(yǔ)言文本序列。

以情感分析為例，這是一項(xiàng)旨在理解文本背后潛在情感的自然語(yǔ)言處理(NLP)任務(wù)。LNN從實(shí)時(shí)數(shù)據(jù)中學(xué)習(xí)的能力有助于他們分析不斷發(fā)展的方言和新短語(yǔ)，從而進(jìn)行更準(zhǔn)確的情感分析。類(lèi)似的功能在機(jī)器翻譯中也很有用。

挑戰(zhàn)同樣存在

不過(guò)，需要指出的是，盡管LNN具有許多優(yōu)勢(shì)，但同樣面臨一些約束和挑戰(zhàn)。

第一，消失梯度問(wèn)題。像其他時(shí)間連續(xù)模型一樣，LNN在通過(guò)梯度下降訓(xùn)練時(shí)可能會(huì)遇到消失梯度問(wèn)題。在深度神經(jīng)網(wǎng)絡(luò)中，當(dāng)用于更新神經(jīng)網(wǎng)絡(luò)權(quán)重的梯度變得極小時(shí)，就會(huì)發(fā)生消失梯度問(wèn)題。這個(gè)問(wèn)題會(huì)阻礙神經(jīng)網(wǎng)絡(luò)達(dá)到最優(yōu)權(quán)重，從而限制了它們有效學(xué)習(xí)長(zhǎng)期依賴(lài)關(guān)系的能力。

第二，參數(shù)調(diào)優(yōu)。和其他神經(jīng)網(wǎng)絡(luò)一樣，LNN也涉及參數(shù)調(diào)優(yōu)的挑戰(zhàn)。對(duì)于LNN而言，參數(shù)調(diào)優(yōu)既耗時(shí)又成本高昂。LNN有多個(gè)參數(shù)，包括常微分方程(ODE)求解器的選擇、正則化參數(shù)以及網(wǎng)絡(luò)架構(gòu)，這些都必須進(jìn)行調(diào)整以實(shí)現(xiàn)最佳性能。

找到合適的參數(shù)設(shè)置通常需要迭代過(guò)程，這需要時(shí)間。如果參數(shù)調(diào)整效率低下或不正確完成，可能導(dǎo)致網(wǎng)絡(luò)響應(yīng)不佳和性能降低。

第三，文獻(xiàn)資料匱乏。關(guān)于LNN的實(shí)施、應(yīng)用和優(yōu)勢(shì)的文獻(xiàn)資料有限。研究不足使得理解LNN的最大潛力和局限性變得具有挑戰(zhàn)性，所以不如Transformer那樣廣為人知。

相信隨著更多關(guān)于LNN的研究和開(kāi)發(fā)工作的進(jìn)行，未來(lái)會(huì)有新的方法和技術(shù)出現(xiàn)，以克服當(dāng)前所面臨的一些局限性，并進(jìn)一步提高這類(lèi)模型的可用性。

寫(xiě)在最后

總的來(lái)說(shuō)，Liquid?AI推出的LFM代表了AI領(lǐng)域的一種創(chuàng)新嘗試，它結(jié)合了動(dòng)態(tài)系統(tǒng)理論和信號(hào)處理技術(shù)，旨在為邊緣計(jì)算和云計(jì)算環(huán)境提供高效的解決方案。然而，要讓這種新模型成為主流，還需要克服一系列的技術(shù)障礙，并通過(guò)持續(xù)研究和發(fā)展來(lái)完善其理論基礎(chǔ)和實(shí)踐應(yīng)用。