谷歌的新研究，讓AI也能像人類一樣持續學習而不遺忘了。

?

一般情況下，當我們學會一項新技能后，并不會忘記如何走路、說話這些基本能力。然而，這正是人工智能長期面臨的困境。當AI學習新知識時，往往會像覆蓋舊磁帶一樣，損害甚至完全抹去已經掌握的舊技能，這種現象被稱為“災難性遺忘”。

?

現在，谷歌研究院帶來了一項突破性解決方案。11月7日，谷歌正式發布了全新的機器學習范式——嵌套學習（Nested Learning），直指這個困擾AI領域數十年的根本性難題。
?

圖表比較了生物腦電波和神經可塑性與嵌套學習模型中使用的均勻結構和多頻更新。

?

災難性遺忘并非新問題。在傳統機器學習中，模型在固定數據集上完成訓練后便進入部署階段。一旦需要學習新任務，模型往往需要重新訓練或微調，而這極易導致舊知識被覆蓋。

?

這就好比一個原本精通圖像分類的AI系統，在學習目標檢測后可能完全喪失原有的識別能力；或者一個語音助手在升級方言理解功能后，反而忘記了標準普通話的處理邏輯。
?

研究表明，在連續學習超過五個任務后，傳統模型的平均性能下降幅度高達60%以上。這種局限性嚴重阻礙了AI在需要長期經驗積累的領域應用，如醫療診斷、自動駕駛等。

?

嵌套學習：統一架構與算法的全新范式

?

谷歌提出的嵌套學習范式帶來了根本性的變革。其核心理念是將模型架構與優化算法統一起來，將復雜模型視為一系列相互嵌套或并行的優化問題。

?

在嵌套學習框架下，模型中的每個組件都有自己的“上下文流”和更新速率。這就像人腦的學習機制——我們對眼前事物的瞬時記憶更新極快，為考試而進行的短期記憶更新速度次之，而構成世界觀、價值觀的長期知識則更新得非常緩慢。
?

谷歌研究團隊基于這一范式開發了名為Hope的概念驗證模型，它基于Titans架構的自修改循環網絡，深度集成了連續體內存系統（CMS）。這種設計使模型能夠通過自我參照機制優化自身內存結構，支持近乎無限層級的上下文學習。

?

技術突破：從深度優化器到連續內存系統

?

嵌套學習范式的創新體現在三個關鍵技術突破上。

?

首先，深度優化器將優化器本身作為可學習模塊，改進了目標函數，提升了對不完美數據的魯棒性。傳統優化器如Adam中的動量項，在嵌套學習視角下可被看作是微型的關聯記憶模塊。

?

同時，連續體內存系統（CMS）構建了由不同更新頻率模塊組成的內存光譜，實現了從短期到長期記憶的平滑過渡。CMS由一系列神經網絡塊連接而成，每個塊關聯著特定的更新頻率，徹底改變了傳統AI模型中短期記憶和長期記憶的二元劃分。

?

自修改架構則使模型能夠根據任務動態調整自身的學習算法，包括注意力機制中的鍵、值、查詢投影等關鍵部分。這讓模型擁有了在使用過程中不斷優化自己學習策略的能力。

實驗結果

?

在實驗評估中，Hope模型在語言建模與常識推理任務中表現出更低的困惑度和更高的準確性，優于現代循環模型和標準Transformer架構。

?

特別引人注目的是，在“大海撈針”測試中，Hope展示出了卓越的長文本記憶與檢索能力，驗證了CMS在處理超長序列信息中的有效性。這一測試結果證明了嵌套學習范式在解決災難性遺忘問題上的潛力。
?

?
條形圖顯示 Hope 和 Titans 模型在三個難度級別的長上下文任務中始終優于 TTT 和 Mamba2。

?

研究團隊在340M、760M和1.3B三種參數規模的Hope模型上進行了全面測試，Hope的平均分超越了所有對比模型。這表明嵌套學習范式在不同規模的模型上都能發揮積極作用。

?

嵌套學習的意義遠不止于技術層面的突破。它為實現持續學習的人工智能系統開辟了全新路徑。

?

這一技術將可能很大程度上改變那些需要終身學習的應用領域，比如機器人、自動駕駛、個性化AI助手等。這些系統將不再需要昂貴的、從頭開始的再訓練，而是能夠像人類一樣，在保留已有知識的基礎上，不斷學習和成長。
?

正如谷歌研究人員所言：“我們相信嵌套學習范式為彌補當前大語言模型有限、易遺忘的特性與人腦卓越的持續學習能力之間的差距奠定了堅實基礎。”

?

當然，這項研究仍在發展之中。研究人員指出，目前的工作主要聚焦于記憶的在線鞏固過程，對類似人腦睡眠時的離線重放和整理機制探索有限。但這無疑讓我們距離那個能像人類一樣持續學習、不斷進化的通用人工智能又近了一步。
?

大家怎么看？歡迎交流討論~