圖片

在AI領域，大模型的"終身學習"能力一直是業界追求的核心目標：我們期待AI能像人類一樣，在不斷吸收新知識、新技能的同時，不丟失過往積累的能力。但現實往往不盡如人意：當大模型通過微調更新新數據時，極易出現"災難性遺忘"（Catastrophic Forgetting），也就是在學習新內容的過程中，徹底丟失之前掌握的知識和技能。這一問題成為阻礙大模型實現持續學習的最大瓶頸，無論是個人化助手的精準適配，還是企業級AI系統的實時知識更新，都受限于此。

近日，Meta FAIR實驗室與加州大學伯克利分校的聯合團隊在arXiv上發表了一篇題為《Continual Learning via Sparse Memory Finetuning》^[1]的論文，為這一難題提供了極具創新性的解決方案。該團隊提出的"稀疏記憶微調"（Sparse Memory Finetuning）方法，借助記憶層的稀疏性更新特性，讓大模型在高效學習新知識的同時，將舊有能力的遺忘率降至11% ，遠超當前主流的全微調與LoRA方法。這一突破不僅為大模型持續學習開辟了新路徑，更有望推動AI在個性化服務、實時知識更新等場景的規?；瘧谩?/span>

為何大模型學新就忘舊？

要理解這項工作的價值，首先要明確大模型持續學習面臨的核心矛盾?，F代大語言模型在預訓練完成后，參數基本固定，若要學習新知識（如特定領域事實、用戶個性化偏好等），通常需要通過微調更新參數。但問題在于，大模型的參數是共享的，同一組參數既承載著預訓練階段學到的通用知識（如語法規則、常識邏輯），又要適配新任務的特定需求。當微調更新參數時，新任務的優化目標會"覆蓋"舊有知識的參數配置，導致模型在新任務上表現提升的同時，在原有任務上的性能急劇下降，這就是"災難性遺忘"。

此前，業界已嘗試過多種解決方案，但均存在明顯短板。正則化方法（如權重衰減、KL懲罰）通過限制參數更新幅度來保護舊知識，但會犧牲新任務的學習效果；擴展參數方法（如LoRA、適配器）為新任務添加專屬參數，雖減少遺忘，但新增參數容量有限，難以承載大量新知識；回放數據方法（Replay）通過持續復習舊數據緩解遺忘，但隨著模型經驗積累，所需復習的數據量呈指數增長，效率極低且難以規?；?/span>

Meta與伯克利團隊的核心洞察是：災難性遺忘的根源在于"參數共享"導致的更新干擾，若能讓模型僅更新與新知識強相關的少量參數，同時凍結承載舊知識的大部分參數，就能在學習與遺忘之間找到平衡。而記憶層（Memory Layers）的稀疏訪問特性，恰好為這一思路提供了實現基礎。

稀疏記憶微調的工作原理

該研究的創新點集中在"稀疏記憶微調"方法的設計上，其核心邏輯是"精準定位+稀疏更新"，通過三層架構與機制設計，實現新知識學習與舊知識保護的雙贏。

1. 記憶層替換傳統FFN

研究團隊首先對標準Transformer模型進行改造，將模型中間層（如22層Transformer中的第12層）的前饋網絡（FFN）替換為記憶層（Memory Layer）。這一記憶層包含一個規模龐大的記憶池（實驗中采用100萬個記憶槽），每個記憶槽存儲特定的知識表征，由鍵（Keys）和值（Values）組成，類似一個巨大的"知識字典"。

當模型處理輸入時，記憶層會通過注意力機制，從100萬個記憶槽中篩選出與當前輸入最相關的32個（k=32）記憶槽進行訪問——這意味著，每個輸入僅激活記憶池中極小比例（約0.0032%）的參數。這種稀疏訪問特性，使得模型能夠將不同知識分散存儲在獨立的記憶槽中，為后續的精準更新奠定基礎。

記憶層架構示意圖。該架構將Transformer的FFN層替換為記憶查找模塊，輸入通過查詢投影生成查詢向量，從記憶池中匹配top-k個相關記憶槽，經加權求和與門控機制后輸出。相比傳統FFN，記憶層實現了知識的稀疏存儲與訪問。

2. TF-IDF篩選可更新記憶槽

僅依賴記憶層的稀疏訪問還不夠——若盲目更新所有被激活的記憶槽，仍可能覆蓋承載通用知識的記憶槽，導致遺忘。因此，研究團隊設計了基于TF-IDF的記憶槽篩選機制，精準定位"僅與新知識相關"的記憶槽進行更新。

具體來說，模型會先統計當前訓練批次中每個記憶槽的訪問頻次（TF，詞頻），再對比這些記憶槽在背景語料（如預訓練數據）中的訪問頻次（IDF，逆文檔頻率）。通過TF-IDF評分，篩選出"在當前批次高頻訪問，但在背景語料中低頻訪問"的記憶槽——這些記憶槽大概率是專門承載當前新知識的"專屬存儲單元"，而非支撐通用能力的"公共單元"。

模型僅對排名前t個（實驗中t=500至10000）的高TF-IDF記憶槽進行微調更新，其余記憶槽（包括承載舊知識的通用記憶槽）保持凍結。這種"精準打擊"式的更新，從根源上避免了新知識對舊知識的干擾。

3.適配稀疏更新的訓練配置

為了最大化稀疏記憶微調的效果，研究團隊還優化了訓練細節。在優化器選擇上，發現SGD（隨機梯度下降）比常用的AdamW更適合稀疏更新。SGD能減少參數更新的波動性，進一步降低遺忘率；在記憶層配置上，采用4個記憶頭、1024維值向量的設置，平衡學習容量與計算效率；在數據處理上，通過 paraphrasing（釋義）和 Active Reading（主動閱讀）生成數據增強樣本，確保新知識能被充分學習。

實驗設計

為了全面驗證稀疏記憶微調的有效性，研究團隊設計了兩大核心實驗場景，覆蓋"小數據事實學習"和"大規模文檔流學習"，并與全微調、LoRA（參數高效微調的主流方法）進行了全方位對比。

1. 實驗基礎配置

• 基礎模型：1.3B參數Transformer模型，所有方法使用相同預訓練數據，確保公平對比。
• 記憶層設置：100萬個記憶槽，4個記憶頭，每個token訪問32個記憶槽，替換Transformer中間層（第12層）的FFN。
• 對比方法：

全微調（Full Finetuning）：更新模型所有參數，學習能力強但遺忘嚴重；

LoRA：在注意力和FFN層添加低秩適配器，參數高效微調的主流方案。

• 優化器：稀疏記憶微調使用SGD，全微調與LoRA使用AdamW（經實驗驗證為各自最優配置）。

2. 實驗場景與數據集

研究團隊設計了兩個貼近真實持續學習需求的場景，分別測試模型在不同數據規模下的學習與遺忘表現：

場景一：小數據事實學習（Fact Learning）

模擬"少量新知識實時更新"場景（如用戶告知AI個人偏好、特定領域小樣本事實）。數據集采用TriviaQA測試集中的1000個事實，將每個事實改寫為陳述句，并通過釋義生成多個樣本填充批次（避免重復樣本導致的學習偏差）。評估指標包括：

• 學習效果：TriviaQA事實的F1分數（衡量新知識掌握程度）；
• 遺忘程度：NaturalQuestions（預訓練相關的問答任務）F1分數、GSM8K（數學推理任務）負對數似然（NLL），分數下降越少表示遺忘越少。

場景二：文檔流學習（Document QA）

模擬"大規模連續文檔學習"場景（如AI實時讀取行業報告、新聞資訊更新知識）。數據集采用SimpleQA的維基百科子集，選取100個問題對應的1824個文檔片段（按段落拆分），模型逐段學習每個文檔片段，通過Active Reading生成增強樣本提升學習效果。評估指標與場景一一致，同時增加SimpleQA目標任務的F1分數。

3. 評估方法

• 動態跟蹤：在訓練過程中（0-10000步），每隔一定步數記錄目標任務（新知識）和保留任務（舊知識）的性能，繪制學習-遺忘曲線；
• 帕累托分析：通過調整超參數（如學習率、top-t值、LoRA的秩），繪制學習-遺忘帕累托前沿，判斷方法的最優權衡能力；
• 消融實驗：驗證TF-IDF篩選、背景語料選擇、記憶槽數量等關鍵組件的作用。

實驗結果

實驗結果表明，稀疏記憶微調在兩大場景中均表現出碾壓級優勢。在掌握同等新知識的前提下，遺忘率遠低于全微調和LoRA，實現了學習與遺忘的帕累托最優。

1. 小數據事實學習遺忘率僅11%

在TriviaQA 1000個事實的學習任務中，三種方法的表現形成鮮明對比：

• 全微調：TriviaQA F1分數達到較高水平，但NaturalQuestions F1分數暴跌89%，GSM8K NLL大幅上升，幾乎完全丟失預訓練的問答和推理能力；
• LoRA：遺忘程度優于全微調，但NaturalQuestions F1仍下降71%，且新知識學習效果略遜于全微調；
• 稀疏記憶微調：TriviaQA F1分數與全微調相當（甚至更高），而NaturalQuestions F1僅下降11%，GSM8K NLL基本保持穩定，實現了"學新不忘舊"。

小數據事實學習場景的學習與遺忘曲線。橫坐標為訓練步數，縱坐標為性能指標（F1或NLL）?？梢钥吹?，稀疏記憶微調（Memory）在TriviaQA（新知識）上持續提升，而在NaturalQuestions和GSM8K（舊知識）上幾乎沒有明顯下降；全微調（Full FT）和LoRA則出現嚴重的遺忘現象。

2. 文檔流學習

在1824個文檔片段的連續學習任務中，由于數據多樣性更高，全微調和LoRA的遺忘程度有所緩解，但仍遠不及稀疏記憶微調：小數據事實學習場景的學習與遺忘曲線。橫坐標為訓練步數，縱坐標為性能指標（F1或NLL）?？梢钥吹?，稀疏記憶微調（Memory）在TriviaQA（新知識）上持續提升，而在NaturalQuestions和GSM8K（舊知識）上幾乎沒有明顯下降；全微調（Full FT）和LoRA則出現嚴重的遺忘現象。

• 全微調與LoRA：SimpleQA目標任務F1分數達到預期，但NaturalQuestions F1下降仍超過50%，GSM8K推理性能明顯下滑；
• 稀疏記憶微調：在SimpleQA上達到與基線相當的F1分數，而NaturalQuestions F1下降不足15%，GSM8K NLL保持在較低水平，即使在大規模連續學習中仍能穩定保留舊有能力。

文檔流學習場景的性能對比。稀疏記憶微調（Memory）在SimpleQA（目標任務）上實現與全微調、LoRA相當的學習效果，同時在NaturalQuestions和GSM8K（保留任務）上的性能衰減顯著更低，展現出更強的持續學習穩定性。

3. 帕累托前沿分析

為了進一步驗證稀疏記憶微調的優勢，研究團隊通過超參數掃掠（如調整學習率、top-t值、LoRA的秩和alpha值），繪制了學習-遺忘的帕累托前沿，即"文檔流學習場景的性能對比。稀疏記憶微調（Memory）在SimpleQA（目標任務）上實現與全微調、LoRA相當的學習效果，同時在NaturalQuestions和GSM8K（保留任務）上的性能衰減顯著更低，展現出更強的持續學習穩定性。在給定學習效果下，遺忘程度最低；在給定遺忘程度下，學習效果最高"的最優曲線。

結果顯示，稀疏記憶微調的所有數據點均位于帕累托前沿之上，而全微調和LoRA的點均在前沿之下。這意味著，無論如何調整超參數，全微調和LoRA都無法在"學習效果"和"遺忘程度"上同時超越稀疏記憶微調，證明了該方法在持續學習權衡中的絕對優勢。

學習與遺忘的帕累托前沿對比。橫坐標為TriviaQA F1（學習效果），縱坐標為HellaSwag準確率下降值（遺忘程度）。稀疏記憶微調（Memory）的所有數據點均處于帕累托前沿，展現出最優的學習-遺忘權衡能力；全微調（Full FT）和LoRA則明顯落后。

4. 消融實驗

研究團隊還通過消融實驗，驗證了稀疏記憶微調核心組件的作用：學習與遺忘的帕累托前沿對比。橫坐標為TriviaQA F1（學習效果），縱坐標為HellaSwag準確率下降值（遺忘程度）。稀疏記憶微調（Memory）的所有數據點均處于帕累托前沿，展現出最優的學習-遺忘權衡能力；全微調（Full FT）和LoRA則明顯落后。

TF-IDF篩選的必要性：對比"TF-IDF篩選top-t記憶槽"與"僅按訪問頻次（TF）篩選"，發現后者雖然學習效果相當，但遺忘率顯著更高（尤其當t較小時）。原因是TF僅考慮當前批次的訪問頻次，可能會更新承載通用知識的記憶槽，而TF-IDF通過與背景語料對比，能精準避開這些通用記憶槽。

TF-IDF篩選與 naive 記憶微調的對比。可以看到，相同t值下，TF-IDF篩選（Memory t=50/500）在保留任務（GSM8K）上的性能明顯優于僅按訪問頻次篩選（no reranking），證明了TF-IDF在減少遺忘中的關鍵作用。

背景語料的影響：對比不同背景語料（預訓練數據DCLM、目標任務數據TriviaQA、保留任務數據NaturalQuestions）發現，使用預訓練數據作為背景語料時，遺忘率最低；使用目標任務數據作為背景語料時，由于無法保護預訓練知識，遺忘率顯著上升；使用保留任務數據作為背景語料時，表現與預訓練數據接近，進一步驗證了TF-IDF篩選的精準性。

TF-IDF篩選與 naive 記憶微調的對比。可以看到，相同t值下，TF-IDF篩選（Memory t=50/500）在保留任務（GSM8K）上的性能明顯優于僅按訪問頻次篩選（no reranking），證明了TF-IDF在減少遺忘中的關鍵作用。 不同背景語料對實驗結果的影響。使用預訓練數據（DCLM）或保留任務數據（NQ）作為背景語料時，遺忘程度更低；使用目標任務數據（TriviaQA）作為背景語料時，遺忘率明顯上升，證明背景語料需覆蓋待保護的舊知識。TF-IDF篩選與 naive 記憶微調的對比。可以看到，相同t值下，TF-IDF篩選（Memory t=50/500）在保留任務（GSM8K）上的性能明顯優于僅按訪問頻次篩選（no reranking），證明了TF-IDF在減少遺忘中的關鍵作用。

稀疏更新的底層邏輯

通過實驗分析，研究團隊還揭示了稀疏記憶微調的幾個關鍵發現，為后續持續學習研究提供了重要啟示：

1. 核心記憶集的存在：每個事實的知識僅存儲在100-500個記憶槽中（稱為"核心記憶集"），遠少于批次訪問的1k-100k個記憶槽。這一發現驗證了"知識的稀疏存儲"特性，也解釋了為何僅更新少量記憶槽就能掌握新知識。
2. 記憶槽與實體邊界對齊：定性分析發現，被更新的高TF-IDF記憶槽，往往與文本中的實體邊界（如人名、地名、事件名）對齊。這意味著模型會將實體相關的知識集中存儲在特定記憶槽中，進一步提升了稀疏更新的精準性。
3. 超參數的魯棒性：稀疏記憶微調對超參數（如top-t值、學習率）的敏感度較低，即使t從50調整到1000，仍能保持較好的學習-遺忘權衡。這一特性降低了實際應用中的調參成本，提升了方法的實用性。

總結

Meta與伯克利團隊的這項工作，通過"記憶層架構+TF-IDF稀疏篩選"的創新組合，成功破解了大模型持續學習中的災難性遺忘難題，其核心貢獻不僅在于提出了一種高效的微調方法，更在于驗證了"稀疏參數更新"是實現持續學習的關鍵路徑。

與現有方法相比，稀疏記憶微調的優勢十分顯著：無需回放舊數據（數據高效）、不新增大量參數（計算高效）、學習效果與全微調相當（學習能力強）、遺忘率僅為11%（穩定性高）。這些特性使其能夠適配多種持續學習場景，例如：

• 個性化AI助手：實時學習用戶偏好，不丟失通用對話與推理能力；
• 行業知識更新：持續吸收行業報告、政策文件，保持專業知識時效性；
• 邊緣設備AI：在計算資源有限的情況下，高效更新局部知識。

研究團隊表示，未來將探索更復雜的記憶槽篩選機制（如輸入依賴的動態t值調整）、擴展到更大規模模型（如10B以上參數）、適配更廣泛的任務類型（如代碼生成、多模態理解）。此外，如何將稀疏記憶微調與檢索增強生成（RAG）結合，實現"參數內記憶+外部檢索"的雙重知識更新，也將是重要的研究方向。