作為世界上最受矚目的人工智能技術(shù)研究機(jī)構(gòu)之一，Google DeepMind 總是在不斷帶來我們驚喜。在去年的官方總結(jié)中，DeepMind 指出，「2016 年，我們的另一重要研究領(lǐng)域是記憶(memory)，特別是如何將神經(jīng)網(wǎng)絡(luò)的決策智能和有關(guān)復(fù)雜結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、推理能力結(jié)合起來的難題?！?/p>

近日，DeepMind 又發(fā)布一份新研究(這一方法不同于之前提出的 PathNet)，宣稱實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的連續(xù)學(xué)習(xí)(Continual Learning)，讓計(jì)算機(jī)程序可以不忘記之前學(xué)習(xí)過的內(nèi)容并漸進(jìn)式地學(xué)習(xí)新內(nèi)容。這篇論文結(jié)合了生物學(xué)、突觸彈性理論，并討論了突觸不僅存儲(chǔ)權(quán)重還存儲(chǔ)這一權(quán)重不確定性的理論。這項(xiàng)研究得到了廣泛的關(guān)注，比如 Bloomberg 的報(bào)道寫道，這項(xiàng)研究「可能將為能被更輕松地應(yīng)用于多種任務(wù)的人工智能系統(tǒng)開啟新的道路，它也應(yīng)該可以提升人工智能系統(tǒng)在任務(wù)之間遷移知識(shí)的能力和掌握一系列互相鏈接的步驟的能力。」機(jī)器之心在此對(duì) DeepMind 與該研究相關(guān)的官方博客文章和論文摘要進(jìn)行了介紹。

論文地址：http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf

學(xué)習(xí)執(zhí)行任務(wù)的計(jì)算機(jī)程序通常也會(huì)很快地忘記這些任務(wù)。我們的研究表明可以修改學(xué)習(xí)規(guī)則使程序在學(xué)習(xí)新任務(wù)的時(shí)候還記得舊任務(wù)。這是向能漸進(jìn)學(xué)習(xí)和自適應(yīng)學(xué)習(xí)的更加智能的機(jī)器所邁出的重要一步。

深度神經(jīng)網(wǎng)絡(luò)是目前最成功的機(jī)器學(xué)習(xí)技術(shù)，可用于解決語言翻譯、圖像分類和圖像生成等多種任務(wù)。但是，通常只有當(dāng)數(shù)據(jù)是一次性全部呈現(xiàn)時(shí)，它們才能學(xué)習(xí)多種任務(wù)。隨著一個(gè)網(wǎng)絡(luò)在一項(xiàng)特定任務(wù)上的訓(xùn)練的進(jìn)行，其參數(shù)也將逐漸適應(yīng)此任務(wù)的解決。而當(dāng)引入一個(gè)新任務(wù)的時(shí)候，新的適應(yīng)過程會(huì)改寫該網(wǎng)絡(luò)之前已經(jīng)獲得的知識(shí)。這種現(xiàn)象在認(rèn)知科學(xué)領(lǐng)域被稱為「災(zāi)難性遺忘(catastrophic forgetting)」，這也被認(rèn)為是神經(jīng)網(wǎng)絡(luò)的基本限制之一。

相對(duì)而言，我們的大腦卻有著不同的工作方式。我們可以漸進(jìn)地學(xué)習(xí)，可以一次只學(xué)習(xí)一個(gè)技能，而且也能在學(xué)習(xí)新任務(wù)時(shí)應(yīng)用我們之前獲得知識(shí)。這也是我們最近在 PNAS 上發(fā)表的論文《Overcoming catastrophic forgetting in neural networks》的起點(diǎn)。在這篇論文中，我們提出了一種可以克服神經(jīng)網(wǎng)絡(luò)的災(zāi)難性遺忘的方法。我們的靈感來自于神經(jīng)科學(xué)，涉及到有關(guān)哺乳動(dòng)物和人類大腦鞏固之前習(xí)得的技能和記憶的理論。

神經(jīng)科學(xué)家已經(jīng)識(shí)別出了大腦之中的兩種鞏固(consolidation)方式：系統(tǒng)鞏固(systems consolidation)和突觸鞏固(synaptic consolidation)。系統(tǒng)鞏固是指這樣一個(gè)過程：將我們大腦中的快速學(xué)習(xí)部分已經(jīng)獲得的記憶印刻到慢速學(xué)習(xí)的部分。這種印刻過程被認(rèn)為是通過有意識(shí)或無意識(shí)的回憶實(shí)現(xiàn)的——比如說，這可能會(huì)發(fā)生在做夢(mèng)的時(shí)候。而對(duì)于第二種機(jī)制——突觸鞏固，是指如果一些突觸連接在之前所學(xué)到的任務(wù)中是很重要的，那么它們被改寫的可能性就更小。具體而言，我們的算法就從這種機(jī)制中獲得了解決災(zāi)難性遺忘的靈感。

神經(jīng)網(wǎng)絡(luò)由很多連接構(gòu)成，這些連接的方式在很大程度上類似于大腦中的連接。在學(xué)會(huì)一個(gè)任務(wù)之后，我們計(jì)算每個(gè)連接對(duì)于該任務(wù)的重要程度。當(dāng)我們學(xué)習(xí)一個(gè)新任務(wù)時(shí)，我們按照連接對(duì)舊任務(wù)的重要程度，按比例地對(duì)連接進(jìn)行修改保護(hù)。因此這就可以在無需修改在之前的任務(wù)中所學(xué)習(xí)到的內(nèi)容的同時(shí)而學(xué)會(huì)新的任務(wù)，并且這也不會(huì)帶來顯著的計(jì)算成本。我們可以將我們?yōu)槊總€(gè)連接所施加的保護(hù)看作是通過一個(gè)彈簧鏈接到之前的保護(hù)值，其剛度(stiffness)正比于其連接的重要程度。為此，我們將我們的算法稱為「彈性權(quán)重鞏固(EWC/Elastic Weight Consolidation)」。

DeepMind新的AI程序同時(shí)應(yīng)付兩個(gè)任務(wù)的學(xué)習(xí)過程

為了測(cè)試我們的算法，我們讓一個(gè)代理按順序接觸 Atari 游戲。單獨(dú)根據(jù)得分掌握單個(gè)游戲，很有挑戰(zhàn)性，不過，按順序掌握多個(gè)游戲更是難上加難，因?yàn)槊總€(gè)游戲都需要一種單獨(dú)的策略。正如下面圖表所表明的，沒有 EWC，在停止游戲后(藍(lán)色)，該代理會(huì)迅速忘記每個(gè)游戲。這意味著，平均而言該代理幾乎沒有掌握任何一個(gè)游戲。不過，如果我們使用了 EWC(棕色和紅色)，該代理就不會(huì)輕易忘記游戲，還能一個(gè)接一個(gè)地掌握多個(gè)游戲。

今天，計(jì)算機(jī)程序還無法從數(shù)據(jù)中自適應(yīng)地進(jìn)行實(shí)時(shí)學(xué)習(xí)。不過，我們已經(jīng)表明，對(duì)于神經(jīng)網(wǎng)絡(luò)來說，災(zāi)難性遺忘不是一座不可征服的高山。我們也希望，這份研究代表了人們朝著能夠以更加靈活自動(dòng)化的方式進(jìn)行學(xué)習(xí)的程序又邁進(jìn)了一步。

我們的研究也推進(jìn)了人類對(duì)大腦中突觸鞏固(synaptic consolidation)形成方式的理解。實(shí)際上，作為我們的研究基礎(chǔ)的神經(jīng)科學(xué)理論目前只是在非常簡單的例子中得以證明。通過表明那些相同的理論也可以適用到更加現(xiàn)實(shí)和復(fù)雜的機(jī)器學(xué)習(xí)環(huán)境中，我們希望能夠進(jìn)一步賦予這一思想更大的重要性：突觸鞏固是保留記憶和方法的關(guān)鍵。

論文：克服神經(jīng)網(wǎng)絡(luò)中的災(zāi)難性遺忘

(Overcoming catastrophic forgetting in neural networks)

摘要

以順序的方式學(xué)習(xí)任務(wù)的能力對(duì)人工智能的開發(fā)來說是至關(guān)重要的。到目前為止，神經(jīng)網(wǎng)絡(luò)都還不具備這種能力，而且人們普遍認(rèn)為災(zāi)難性遺忘(catastrophic forgetting)是連接主義模型(connectionist model)的不可避免 特征。我們的研究表明有可能克服這種限制并訓(xùn)練出能夠在很長一段時(shí)間里在它們沒有經(jīng)歷過的任務(wù)上保持專業(yè)知識(shí)的網(wǎng)絡(luò)。我們的方法能夠選擇性地減慢對(duì)這些任務(wù)而言比較重要的權(quán)重的學(xué)習(xí)速率。通過解決一系列基于手寫數(shù)字?jǐn)?shù)據(jù)集的分類任務(wù)和按順序?qū)W習(xí)多個(gè) Atari 2600 游戲，我們表明我們的方法是可擴(kuò)展的和有效的。

原文：https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/

【本文是51CTO專欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文