正如圖像處理、智能醫療、自動駕駛汽車和智慧城市等各個 AI 領域的突破所展現的那樣，深度學習無疑正在經歷著黃金期。在未來十年左右，AI 和計算機系統將最終具備類人的學習和思考能力，以處理持續的信息流，與現實世界進行交互。

但是，當前的 AI 模型在連續進行新信息訓練時會遭受性能損失。這是因為每當生成新數據時，都會在已有數據之上寫入，從而擦除以前的信息。這種效應被稱為「災難性遺忘」。穩定性 - 可塑性困境導致 AI 模型需要更新其記憶以不斷地適應新信息，同時保持當前知識的穩定性。這一問題阻止了 SOTA AI 模型持續地從現實世界信息中學習。

同時，邊緣計算系統允許將計算從云存儲和數據中心轉移到原始來源附近，例如連接物聯網的設備。在資源有限的邊緣計算設備上高效地應用持續學習仍然是一個挑戰，盡管領域內也提出了很多持續學習模型來解決這一問題。傳統模型需要高計算能力和大存儲容量。

最近，新加坡科技設計大學（SUTD）的一個研究團隊設計了一種能夠實現高能效持續學習系統的新型模型，研究《Continual Learning Electrical Conduction in Resistive-Switching-Memory Materials》發表在了期刊《先進理論與模擬》上。

論文地址：https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.202200226

該團隊提出一種受大腦啟發的模型—Brain-Inspired Replay(BIR)，它可以自然地進行持續學習。BIR 模型基于人工神經網絡和變分自編碼器來模擬人類大腦的功能，在沒有存儲數據的類增量學習場景中也能表現得很好。研究者還使用 BIR 模型來表示在數字存儲系統中使用電流的導電絲生長。

下圖左上為生成式回放設置，右上為訓練具有生成式回放的人工神經網絡；左下和右下分別為常規以及 BIR 模型的歸一化電流精度。

論文通訊作者之一、助理教授 Loke 解釋稱，「在 BIR 中，知識被保存在訓練過的模型中，從而在引入額外任務時將性能損失降至最低，并無需參考以往工作中的數據。因此，這種做法可以大量節能。」

他還補充道，「在無存儲數據的情況下，在當前學習任務的合規性挑戰上實現了 89% 的 SOTA 準確率，這比傳統持續學習模型高了約兩倍，并且實現了高能效。」

此外，為了使 BIR 模型能夠獨立處理現實世界的現場信息，該團隊計劃在下一階段的研究中擴展它的可調能力。

Loke 表示，這項研究基于小規模演示，仍處于早期階段。不過，采用這種方法有望使得邊緣 AI 系統在無人類控制的情況下獨立發展。