CPU和GPU之后的下一代計(jì)算系統(tǒng)
過(guò)去幾十年中,電子計(jì)算能力呈現(xiàn)幾何指數(shù)增長(zhǎng),并從根本上改變了我們的工作,生活和互動(dòng)方式。而未來(lái)在未來(lái)甚至?xí)l(fā)更大的發(fā)展變革?;乜礆v史,基于摩爾定律的計(jì)算能力發(fā)展主要由兩個(gè)因素驅(qū)動(dòng):1、電子設(shè)備的巨大規(guī)模化驅(qū)動(dòng)的,2、器件尺寸的減小顯著改善了成本,速度和功耗。為了保持這種發(fā)展趨勢(shì),必須投入了大量資源來(lái)維持?jǐn)U展趨勢(shì),目前已能大規(guī)模制備集成數(shù)十億納米級(jí)晶體管的芯片,并為今天的智能手機(jī)和超級(jí)計(jì)算機(jī)提供計(jì)算動(dòng)力。然而,隨著制造成本的增加和即將到來(lái)的基本物理限制,單純通過(guò)器件縮放不再能夠提供所需的性能增益。
特別是,隨著摩爾定律的臨近終結(jié),半導(dǎo)體行業(yè)一直處于“正在瀕臨死亡”的階段,許多技術(shù)都在尋求填補(bǔ)后摩爾時(shí)代遺留的技術(shù)真空。
而憶阻器則是可能性技術(shù)之一。作為最近研發(fā)的四種基本電子元器件,憶阻器結(jié)構(gòu)形式非常簡(jiǎn)單,總共僅需要三層—— 兩個(gè)發(fā)送和接收電信號(hào)的電極以及之間的“存儲(chǔ)”層。從外部看,憶阻器看起來(lái)像一個(gè)電阻,因此具有高密度集成和低成本制造的巨大潛力。然而,不同于靜態(tài)電阻,憶阻器中的存儲(chǔ)層的物理參數(shù)可以通過(guò)電學(xué)刺激而重新配置,并且會(huì)形成記憶效應(yīng),其中物理參數(shù)的變化(電阻)可用于數(shù)據(jù)的存儲(chǔ)和處理。
圖1 電阻器,電容器,電感器,憶阻器的概念之間的對(duì)稱性
因而,我們可以稱具有記憶效應(yīng)的電阻器件即為憶阻器(存儲(chǔ)器+電阻器),或定義為憶阻系統(tǒng)。在存儲(chǔ)器中所使用的憶阻器也通常被稱為電阻式隨機(jī)存取存儲(chǔ)器(RRAM)?;A(chǔ)理論研究表明,典型的憶阻器特征尺寸可以降低到10nm以下,存儲(chǔ)狀態(tài)維持?jǐn)?shù)年,同時(shí)具有開啟速度快(亞秒級(jí)別),長(zhǎng)寫擦除耐力和低編程功耗等特點(diǎn)。應(yīng)該注意的是,盡管目前可以實(shí)現(xiàn)了某一特性的重復(fù)制備,但同時(shí)集成多種功能的單一憶阻器材料仍然是一個(gè)巨大的挑戰(zhàn)。
基礎(chǔ)材料和器件測(cè)試表征表明,憶阻器中電學(xué)重新配置通過(guò)存儲(chǔ)層內(nèi)部離子再分配驅(qū)動(dòng)形成的。通常存儲(chǔ)層為幾納米厚,因此較低的電勢(shì)即可產(chǎn)生足夠大的電場(chǎng)用以以驅(qū)動(dòng)離子遷移并改變材料的離子分布形式。存儲(chǔ)層常見的再分配方式包括存儲(chǔ)層的陽(yáng)離子或陰離子的物種氧化,遷移和還原,這些變化導(dǎo)致存儲(chǔ)層材料局部電導(dǎo)率發(fā)生變化,從提高或降低導(dǎo)電區(qū)域。這個(gè)過(guò)程可以是突變(二進(jìn)制)或漸變(類似物),并且伴隨不同時(shí)間尺度發(fā)生不同的物理過(guò)程。因而通過(guò)材料篩選和驅(qū)動(dòng)模式的改變可以使簡(jiǎn)單的器件能夠產(chǎn)生豐富的結(jié)構(gòu)變化。
在本文中,我們主要是評(píng)估基于憶阻器模式的新型計(jì)算系統(tǒng)的優(yōu)勢(shì)與劣勢(shì),以及在未來(lái)中是否能夠超越摩爾定律,取代現(xiàn)有計(jì)算模式。未來(lái)將會(huì)從憶阻器開發(fā)中獲益匪淺的主要有三種類型的計(jì)算系統(tǒng),如圖2所示:片上存儲(chǔ)(on-chip memory and storage),神經(jīng)網(wǎng)絡(luò)模式(biologicallyinspired computing)和存儲(chǔ)計(jì)算(in-memory computing)。基于憶阻器的計(jì)算模式可以幫助克服當(dāng)今計(jì)算架構(gòu)面臨的障礙,并且能夠用于未來(lái)的計(jì)算需求:認(rèn)知處理,大數(shù)據(jù)分析和基于物聯(lián)網(wǎng)的低功耗智能系統(tǒng)等計(jì)算系統(tǒng)。
圖2:未來(lái)計(jì)算解決方案的競(jìng)爭(zhēng)
傳統(tǒng)的計(jì)算架構(gòu)面臨著各種挑戰(zhàn),包括散熱,存儲(chǔ)和摩爾定律。憶阻器技術(shù)可以提供一種替代路徑,實(shí)現(xiàn)存儲(chǔ)-邏輯集成,神經(jīng)網(wǎng)絡(luò)計(jì)算和高效的內(nèi)存計(jì)算系統(tǒng)。CMOS,互補(bǔ)金屬氧化物半導(dǎo)體; GPU,圖形處理單元; CPU,中央處理單元。
馮諾依曼瓶頸?
現(xiàn)今,傳統(tǒng)計(jì)算結(jié)構(gòu)面臨的挑戰(zhàn)源于存儲(chǔ)能力瓶頸以及存儲(chǔ)器與處理器之間的特定的數(shù)據(jù)轉(zhuǎn)移速度所帶來(lái)的高成本,即為馮·諾伊曼瓶頸。憶阻器模式則直接提供了一種超高密度存儲(chǔ)解決方案,并且可直接與處理芯片集成,減少內(nèi)存瓶頸,顯著提高系統(tǒng)的能效和計(jì)算速度。
與靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)和動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)相比,憶阻器(以RRAM的形式)比硬盤驅(qū)動(dòng)器和閃存快得多,同時(shí)存儲(chǔ)密度更高,成本更低,且具有良好的非揮發(fā)存儲(chǔ)性能。此外,晶體管模式的存儲(chǔ)器不同,憶阻器式存儲(chǔ)可以與處理器進(jìn)行高密度低熱功耗集成,消除了傳統(tǒng)模式那種緩慢且耗能的片外通信。這些特性使得憶阻器模式能夠簡(jiǎn)化存儲(chǔ)層次結(jié)構(gòu),并顯著提升計(jì)算系統(tǒng)性能,特別是在大數(shù)據(jù)時(shí)代。
目前的研究工作主要促進(jìn)憶阻器作為存儲(chǔ)器和存儲(chǔ)系統(tǒng)的實(shí)際應(yīng)用,進(jìn)一步增強(qiáng)設(shè)備性能并解決與大規(guī)模應(yīng)用相關(guān)的挑戰(zhàn)。包括優(yōu)化設(shè)備速度,開/關(guān)比,循環(huán)耐久性和數(shù)據(jù)保留時(shí)間等。更深度的優(yōu)化工作包括降低工作電壓和電流以及解決器件可變性挑戰(zhàn)。在電路和系統(tǒng)級(jí)別上,憶阻器存儲(chǔ)器(RRAM)的大規(guī)模實(shí)現(xiàn)還需要解決諸如潛行電流和導(dǎo)線電阻之類的挑戰(zhàn)。
值得注意的是,憶阻器可能在非存儲(chǔ)模式的計(jì)算系統(tǒng)中發(fā)揮更大的作用,例如生物神經(jīng)網(wǎng)絡(luò)計(jì)算。這種計(jì)算模式是將存儲(chǔ)與計(jì)算集于一體,因此憶阻器非常適合用于這種模式的計(jì)算需求。生物神經(jīng)網(wǎng)絡(luò)在認(rèn)知學(xué)習(xí)和大數(shù)據(jù)處理方面的表現(xiàn)明顯優(yōu)于傳統(tǒng)計(jì)算系統(tǒng),甚至在復(fù)雜任務(wù)中的表現(xiàn)過(guò)人類,比如Google開發(fā)的基于神經(jīng)網(wǎng)絡(luò)模式的AlphaGo在圍棋領(lǐng)域已經(jīng)超過(guò)人類高手。最簡(jiǎn)單形式的神經(jīng)網(wǎng)絡(luò)是通過(guò)加權(quán)突觸連接形成的神經(jīng)元(圖3)。每個(gè)突觸將信息從突觸前神經(jīng)元傳遞到突觸后神經(jīng)元,并經(jīng)過(guò)突觸權(quán)重進(jìn)行縮放。通過(guò)更新其突觸權(quán)重來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)以執(zhí)行特定任務(wù)。目前神經(jīng)網(wǎng)絡(luò)具有超過(guò)100個(gè)的隱藏層,因此需要訓(xùn)練并且存儲(chǔ)大量突觸連接。到目前為止,神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)主要基于傳統(tǒng)的計(jì)算硬件,其中突觸權(quán)重存儲(chǔ)在(片外)存儲(chǔ)器中并且需要不斷地加載到處理單元中以計(jì)算到下一神經(jīng)元的期望輸出。基于這一模式的計(jì)算性能仍然受到馮諾依曼瓶頸的限制,并且需要消耗巨大的計(jì)算硬件資源,產(chǎn)生極高的功耗。相反,基于憶阻器的神經(jīng)網(wǎng)絡(luò)下,單一器件可以同時(shí)存儲(chǔ)突觸權(quán)重并且傳輸數(shù)據(jù)信號(hào),(如圖3所示),在這種情況下,發(fā)射信號(hào)(即進(jìn)入后神經(jīng)元的電流)由輸入信號(hào)(即來(lái)自前神經(jīng)元的電壓脈沖)與突觸權(quán)重(由憶阻器電導(dǎo)表示)的乘積確定。存儲(chǔ)單元和計(jì)算模塊在同一設(shè)備中避免了數(shù)據(jù)移動(dòng),可顯著提高系統(tǒng)效率。
圖3:基于憶阻器模式的人工神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)方式
在每個(gè)交叉點(diǎn)形成憶阻器,可同時(shí)用于存儲(chǔ)數(shù)據(jù)和處理信息。在這種方法中,矢量矩陣乘法可由歐姆定律和基爾霍夫定律的簡(jiǎn)單讀取操作獲得。此外,憶阻器的內(nèi)部動(dòng)力學(xué)可用于忠實(shí)地模擬生物突觸中的潛在過(guò)程。Vi,第i行施加的電壓; Ij,當(dāng)前通過(guò)列j的電流 ; Gij,在第i行和第j列的交叉點(diǎn)處的憶阻器的電導(dǎo)率。
如圖3所示,網(wǎng)絡(luò)結(jié)構(gòu)可以直接映射到硬件中的交叉開關(guān)形式,其中輸入連接到憶阻器交叉開關(guān)的行,輸出端連接到列。此外,所有輸入可在單個(gè)器件所有節(jié)點(diǎn)可同時(shí)進(jìn)行計(jì)算操作,其中特定列的輸出電流由通過(guò)連接輸入到特定列的所有憶阻器的總和電流確定。換句話說(shuō),N個(gè)輸入和M個(gè)輸出的N × M憶阻器交叉開關(guān)的單個(gè)讀操作執(zhí)行N ×(N × M)矢量矩陣乘法,具有高度的計(jì)算并行性。而在傳統(tǒng)系統(tǒng)中,執(zhí)行同樣的任務(wù)需要N×M個(gè)乘機(jī)累加運(yùn)算才能實(shí)現(xiàn)。憶阻器的神經(jīng)網(wǎng)絡(luò)硬件的高效計(jì)算特性主要是基于存儲(chǔ)和計(jì)算的共存位置以及高水平的并行計(jì)算特性。
神經(jīng)形態(tài)硬件對(duì)于憶阻器研究來(lái)說(shuō)是一個(gè)特別有吸引力的領(lǐng)域,因?yàn)橄到y(tǒng)級(jí)神經(jīng)網(wǎng)絡(luò)可以容忍當(dāng)今許多器件非理想性特性,如器件的本征變化。實(shí)際上,設(shè)備運(yùn)行時(shí)間隨機(jī)性正可以用來(lái)模擬真實(shí)生物突觸特性,并且可在訓(xùn)練期間進(jìn)行優(yōu)化。此外,實(shí)際的網(wǎng)絡(luò)操作不需要多年的數(shù)據(jù)保留,并且也可以放寬對(duì)設(shè)備耐久性的要求,因?yàn)闄?quán)重更新通常比較少。
從數(shù)學(xué)的角度上說(shuō),神經(jīng)形態(tài)計(jì)算可以分解為一系列矢量矩陣乘法運(yùn)算,通過(guò)憶阻器交叉結(jié)構(gòu)結(jié)構(gòu)實(shí)現(xiàn)。在這些系統(tǒng)中,通過(guò)突觸連接的相對(duì)加強(qiáng)和弱化發(fā)生實(shí)現(xiàn)“學(xué)習(xí)”功能(圖 2)。在過(guò)去的幾年中已經(jīng)證明了基于憶阻器的神經(jīng)網(wǎng)絡(luò)硬件模式。例如,已經(jīng)演示了執(zhí)行模式分類的憶阻器硬件,最初使用2×10陣列并且稍后擴(kuò)展到12×12陣列。2016年引入了一個(gè)使用憶阻器陣列進(jìn)行神經(jīng)形態(tài)應(yīng)用的通用點(diǎn)積引擎,通過(guò)在線學(xué)習(xí)進(jìn)行了主成分分析的演示。
在SNN中,常見學(xué)習(xí)規(guī)則是尖峰定時(shí)依賴模式 - 當(dāng)突觸前神經(jīng)元尖峰在突觸后神經(jīng)元尖峰之前時(shí),兩個(gè)神經(jīng)元之間的突觸增強(qiáng),如果相反則減弱。實(shí)際上,甚至有人認(rèn)為憶阻效應(yīng)可以解釋與尖峰定時(shí)相關(guān)的可塑性行為。到目前為止,許多研究人員已經(jīng)使用實(shí)驗(yàn)裝置參數(shù)通過(guò)全系統(tǒng)仿真研究了基于憶阻器-SNN。
總體而言,神經(jīng)網(wǎng)絡(luò)模型的開發(fā)和探索是目前非?;钴S。使用不同的神經(jīng)元,突觸和網(wǎng)絡(luò)模型來(lái)探索各種新型計(jì)算模式。例如,在生物系統(tǒng)中,SNN中的尖峰被認(rèn)為是實(shí)現(xiàn)高能量和計(jì)算效率的關(guān)鍵。目前先進(jìn)的物體分類精度是通過(guò)模擬大腦的深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)的。如上所述,憶阻器作為硬件系統(tǒng)的優(yōu)勢(shì)是可用于神經(jīng)形態(tài)計(jì)算和機(jī)器學(xué)習(xí)模型。除此之外,我們注意到上述相同的矢量矩陣運(yùn)算可用于解決諸如矢量算術(shù)函數(shù)和線性代數(shù)之類的經(jīng)典問(wèn)題。因此,憶阻器可以實(shí)現(xiàn)有前途的內(nèi)存計(jì)算解決方案,消除內(nèi)存瓶頸和數(shù)據(jù)擁塞,并為不同類型的數(shù)據(jù)密集型任務(wù)提供低功耗,高效率的硬件系統(tǒng)。
面臨的挑戰(zhàn)與解決方案
雖然憶阻器在存儲(chǔ)器,計(jì)算和神經(jīng)網(wǎng)絡(luò)應(yīng)用顯示出巨大的應(yīng)用潛力,但仍需要解決材料和器件應(yīng)用中出現(xiàn)的問(wèn)題。當(dāng)然這些問(wèn)題可以根據(jù)具體應(yīng)用而變化。例如,在高性能存儲(chǔ)器應(yīng)用(例如DRAM替換)中,降低編程電流和電壓,提高耐久性并改善選擇器性能以降低潛行電流至關(guān)重要,并且通過(guò)最少的器件實(shí)現(xiàn)所有這一切。這顯然給研究界帶來(lái)了巨大挑戰(zhàn)。幸運(yùn)的是,對(duì)于神經(jīng)形態(tài)和類似的計(jì)算應(yīng)用,這些規(guī)范中的一些可以放寬,而模擬狀態(tài)的穩(wěn)定性等新需求就變得非常重要了。
如何降低器件尺寸和提升集成規(guī)模?
雖然,近年的研究中憶阻器已經(jīng)有了極大的改進(jìn),但是注意到憶阻器研究仍處于起步階段。關(guān)于憶阻系統(tǒng)的研究仍在學(xué)術(shù)研究小組中進(jìn)行,大多數(shù)演示都側(cè)重于概念證明,而并非建立實(shí)際系統(tǒng)。為了將基于憶阻器的計(jì)算硬件引入實(shí)際應(yīng)用,需要在后期的研發(fā)中著重提高三個(gè)方面的特性:擴(kuò)大器件集成規(guī)模、多功能集成、以及與CMOS的系統(tǒng)集成。
圖4:憶阻器技術(shù)的快速發(fā)展
一種方法是增加功能憶阻器網(wǎng)絡(luò)規(guī)模。系統(tǒng)規(guī)模擴(kuò)展很大程度上取決于可以集成到系統(tǒng)中的器件的數(shù)量。實(shí)際的存儲(chǔ)器或計(jì)算系統(tǒng)可能需要數(shù)十億個(gè)功能性憶阻設(shè)備。實(shí)現(xiàn)這種集成度需要提高憶阻器器件制造的產(chǎn)量以及大學(xué)研究人員與行業(yè)合作伙伴的密切合作。此外,開發(fā)和優(yōu)化系統(tǒng)層次結(jié)構(gòu)以提高硬件的可擴(kuò)展性。令人鼓舞的是,研究已經(jīng)朝這個(gè)方向發(fā)展(圖4)。
另一個(gè)方面是通過(guò)在同一硬件系統(tǒng)中執(zhí)行多個(gè)任務(wù)來(lái)改進(jìn)系統(tǒng)功能。例如,可以利用相同的物理結(jié)構(gòu)來(lái)執(zhí)行不同的功能,即神經(jīng)網(wǎng)絡(luò),算術(shù)運(yùn)算和數(shù)據(jù)存儲(chǔ)等功能。這種方法可以產(chǎn)生可擴(kuò)展的計(jì)算系統(tǒng),其可以被動(dòng)態(tài)地重新配置以適應(yīng)不同的工作負(fù)載。在這種情況下,可以在運(yùn)行時(shí)中純粹通過(guò)軟件動(dòng)態(tài)地重新配置(重新定義)相同物理憶阻結(jié)構(gòu)的功能,而無(wú)需任何物理硬件修改。為了將這樣一個(gè)系統(tǒng)變?yōu)楝F(xiàn)實(shí),仍然需要解決一些挑戰(zhàn)。例如,與存儲(chǔ)和神經(jīng)網(wǎng)絡(luò)相比,使用憶阻器執(zhí)行算術(shù)運(yùn)算需要更嚴(yán)格的設(shè)備分布。此外,可能需要長(zhǎng)的設(shè)備耐久性循環(huán)以允許有效地執(zhí)行邏輯任務(wù)。最近的設(shè)備研究工作已經(jīng)顯示出有希望的結(jié)果,并且我們相信基于憶阻器的可重新配置計(jì)算系統(tǒng)可以是擴(kuò)展系統(tǒng)功能的有吸引力的替代方案。
第三個(gè)因子就跨系統(tǒng)整合??缦到y(tǒng)擴(kuò)展的成功與否主要取決于可憶阻器– CMOS可靠集成。通常,基于憶阻器系統(tǒng)的操作仍然需要一些CMOS電路來(lái)提供必要的接口和控制操作。因此,高效的憶阻器-CMOS集成是實(shí)現(xiàn)系統(tǒng)增益的關(guān)鍵因素?;谛酒?jí)集成或硅通孔的典型方法將無(wú)法在憶阻器層和CMOS電路之間提供所需的帶寬。憶阻器與CMOS電路的成功3D集成可以顯著提高系統(tǒng)密度,而不僅僅是簡(jiǎn)單的器件縮放。
從根本上擴(kuò)展到3D可以為物理和概念上的更多認(rèn)知架構(gòu)創(chuàng)造新的機(jī)會(huì)。例如,受到神經(jīng)網(wǎng)絡(luò)的巨大規(guī)模的啟發(fā),早期的認(rèn)知工作探索了大腦如何在高維空間中將概念及其關(guān)系表示為稀疏向量。這些超向量可以具有高達(dá)10,000的維數(shù),這個(gè)數(shù)字部分地由神經(jīng)系統(tǒng)中的連通性證明。在如此大的空間中工作(也受到隨機(jī)性和稀疏性的影響)導(dǎo)致認(rèn)知操作(綁定概念,例如人名和性別),這可以通過(guò)相對(duì)簡(jiǎn)單的操作來(lái)實(shí)現(xiàn),例如乘法,加法和置換,形成這個(gè)空間的代數(shù)稱為超維計(jì)算。高維計(jì)算的挑戰(zhàn)在于,考慮到維度和預(yù)期的向量數(shù)量(例如,英語(yǔ)中的100,000個(gè)單詞),這些操作仍具有高度內(nèi)存密集性。最近的工作已經(jīng)探索了使用3D垂直結(jié)構(gòu)的具有憶阻陣列的超維計(jì)算的實(shí)現(xiàn)兩者生成隨機(jī)矢量和原位執(zhí)行乘法,加法和置換操作。在硬件中實(shí)現(xiàn)這種大規(guī)模系統(tǒng)的能力顯然取決于在三個(gè)維度上擴(kuò)展的能力。
化學(xué)和生物計(jì)算
在生物啟發(fā)計(jì)算中,人們的目標(biāo)是模仿已知的大腦,并希望基于此構(gòu)建更高效的計(jì)算系統(tǒng)。但是,特定任務(wù)需要多少生物細(xì)節(jié)仍然是一個(gè)懸而未決的問(wèn)題。例如,不需要大量的生物細(xì)節(jié)結(jié)構(gòu),僅通過(guò)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)能夠在充分訓(xùn)練之后以高精度執(zhí)行諸如圖像分類的任務(wù)。然而,最近的發(fā)展表明,即使對(duì)于深度神經(jīng)網(wǎng)絡(luò),更有效的訓(xùn)練算法顯示出與生物學(xué)中觀察到的基于尖峰的學(xué)習(xí)規(guī)則驚人的相似性。關(guān)于生物細(xì)節(jié)結(jié)構(gòu)作用的爭(zhēng)論源于兩個(gè)因素:實(shí)施生物類特性的成本增加,以及缺乏對(duì)這些特性如何導(dǎo)致實(shí)際功能的理解(來(lái)自神經(jīng)科學(xué))。在這方面,如果一個(gè)人可以忠實(shí)地模仿硬件系統(tǒng)中的生物行為而幾乎沒有或沒有增加成本 - 通過(guò)使用原生具有生物地理特性的設(shè)備,這個(gè)問(wèn)題可能會(huì)變得更容易回答?;诖祟愒O(shè)備的硬件系統(tǒng)將在人工神經(jīng)網(wǎng)絡(luò)中提供新功能,甚至可能有助于加速神經(jīng)科學(xué)中假設(shè)的制定和測(cè)試。
發(fā)現(xiàn)表明,在憶阻器設(shè)備中有可能實(shí)現(xiàn)生物地理特性而無(wú)需額外補(bǔ)償。代表性例子是鈣效應(yīng)。突觸后神經(jīng)元中的鈣濃度在突觸前神經(jīng)元的尖峰事件之后增加,然后在幾十毫秒的時(shí)間尺度內(nèi)衰減。如果突觸后神經(jīng)元也在該時(shí)間范圍內(nèi)發(fā)射,則鈣濃度可以增強(qiáng)到高于觸發(fā)突觸增強(qiáng)的閾值。反過(guò)來(lái)增強(qiáng)的強(qiáng)度鈣濃度,取決于神經(jīng)元前后峰值的相對(duì)時(shí)間,這種機(jī)制被認(rèn)為是觀察到的尖峰時(shí)間依賴性可塑性和速率背后可能的潛在過(guò)程在不增加系統(tǒng)成本的情況下,在實(shí)現(xiàn)生物啟發(fā)網(wǎng)絡(luò)時(shí),設(shè)備級(jí)別的這種生物實(shí)際實(shí)現(xiàn)水平具有吸引力。
另一個(gè)有趣的例子是研究化學(xué)在生物系統(tǒng)中的作用,其中突觸權(quán)重是通過(guò)可以與神經(jīng)遞質(zhì)結(jié)合的受體的活性來(lái)測(cè)量的,其中結(jié)合過(guò)程和受體活性又由化學(xué)反應(yīng)驅(qū)動(dòng),例如,酶- 啟用生物催化反應(yīng)。從器件的角度來(lái)看,類似的化學(xué)反應(yīng)可以幫助降低操作器件所需的能量并提高器件的可靠性。例如,在憶阻器中的電阻切換期間,通過(guò)克服兩個(gè)狀態(tài)之間的能壘,將器件從一個(gè)穩(wěn)定狀態(tài)轉(zhuǎn)換為另一個(gè)穩(wěn)定狀態(tài)。能壘越高,狀態(tài)越穩(wěn)定。然而,更高的能量勢(shì)壘意味著更大的偏置電壓,因此,需要更大的功率來(lái)對(duì)器件進(jìn)行編程。通過(guò)模擬生物學(xué)和使用化學(xué)來(lái)輔助切換過(guò)程,在切換期間可以顯著降低有效能壘,同時(shí)在釋放“門控”化學(xué)品之后可以保持高能量勢(shì)壘以確保裝置穩(wěn)定性。通過(guò)使用具有低能壘的離子(例如,Li離子)以類似電池的方式驅(qū)動(dòng)導(dǎo)電通道中的充電 - 放電氧化還原反應(yīng),可以獲得這種化學(xué)“門控”效應(yīng)。在這種情況下,可以在非常低的電壓(例如,5mV)下進(jìn)行切換,從而產(chǎn)生優(yōu)異的功率效率。
除了突觸行為之外,憶阻系統(tǒng)還可替代仿生計(jì)算系統(tǒng)中接收,處理和傳輸信息的神經(jīng)元。神經(jīng)元主要表征為接受其他神經(jīng)元的輸入電荷并存起,在超過(guò)閾值之后產(chǎn)生相應(yīng)動(dòng)作電位。神經(jīng)元?jiǎng)恿W(xué)的模型可以在生物保真度水平上變化很大。然而,復(fù)制神經(jīng)元行為的關(guān)鍵因素是主動(dòng)增益,即小輸入信號(hào)可以 - 在適當(dāng)?shù)那闆r下 - 產(chǎn)生大量放大和動(dòng)態(tài)的輸出。因此,神經(jīng)元的固態(tài)實(shí)現(xiàn)必須滿足一些基本的動(dòng)態(tài)特性。
憶阻器中可實(shí)現(xiàn)“神經(jīng)元”特性的動(dòng)態(tài)物理的一個(gè)重要參數(shù)是器件中的局部溫度。溫度強(qiáng)烈地影響電子(傳輸)和離子(遷移率)性質(zhì),并且反過(guò)來(lái)也可能受它們的強(qiáng)烈影響。舉一個(gè)簡(jiǎn)單的例子,當(dāng)增加電壓掃描到憶阻器時(shí),上升的焦耳加熱和局部溫度激活電子傳輸,這進(jìn)一步增加了強(qiáng)正反饋模式下的焦耳加熱。對(duì)于某些材料系統(tǒng),該過(guò)程導(dǎo)致觀察到的負(fù)微分電阻(NDR),從而在電導(dǎo)中產(chǎn)生強(qiáng)烈但不穩(wěn)定的變化。事實(shí)上,NDR的許多形式最終可以描述為基于耦合到所述電子傳輸內(nèi)部溫度一個(gè)正反饋驅(qū)動(dòng)的效果。因此,由于固有的正反饋,僅需要少量的輸入信號(hào)來(lái)產(chǎn)生大的效果,因此提供了早先提到的所需的神經(jīng)元放大。
結(jié)論
基于憶阻器的架構(gòu)在馮諾依曼瓶頸和摩爾定律時(shí)代之后展示了開發(fā)未來(lái)計(jì)算系統(tǒng)的巨大潛力。在短期內(nèi),憶阻器提供的高密度片上非易失性存儲(chǔ)器可以顯著提高傳統(tǒng)的基于馮諾依曼的計(jì)算系統(tǒng)的性能,并且可以找到從高性能機(jī)器學(xué)習(xí)系統(tǒng)到低性能的應(yīng)用程序,用于物聯(lián)網(wǎng)的嵌入式芯片。器件技術(shù)和架構(gòu)發(fā)展的進(jìn)一步發(fā)展可能導(dǎo)致基于憶阻器的神經(jīng)形態(tài)計(jì)算系統(tǒng)的大規(guī)模實(shí)施。憶阻交叉開關(guān)提供了本機(jī)解決方案,以實(shí)現(xiàn)大規(guī)模并行和功率有效的矢量矩陣運(yùn)算,這些運(yùn)算構(gòu)成了神經(jīng)形態(tài)運(yùn)算的基礎(chǔ)。此外,精心設(shè)計(jì)的憶阻器設(shè)備可以模仿生物學(xué)對(duì)應(yīng)的動(dòng)力學(xué)。最終,我們期待一個(gè)基于憶阻器的通用內(nèi)存計(jì)算平臺(tái)(圖5)。這個(gè)高效且可重新配置的計(jì)算平臺(tái),稱之為內(nèi)存處理單元,可以執(zhí)行不同的任務(wù)-數(shù)據(jù)存儲(chǔ),算術(shù),邏輯和神經(jīng)形態(tài)計(jì)算。可以說(shuō),基于憶阻器的存儲(chǔ)器處理單元等體系結(jié)構(gòu)是計(jì)算范式的自然演化,遵循從中央處理單元到圖形處理單元的相同趨勢(shì),轉(zhuǎn)向更細(xì)粒度和高度平行的結(jié)構(gòu)(圖 5))。
圖5:計(jì)算系統(tǒng)的可能演變
從具有獨(dú)立處理器和內(nèi)存(中央處理單元,CPU)的傳統(tǒng)架構(gòu)開始,具有數(shù)千個(gè)較小內(nèi)核和更快內(nèi)存訪問(wèn)的圖形處理單元(GPU)已成為當(dāng)今數(shù)據(jù)密集型計(jì)算任務(wù)的主力。所提出的存儲(chǔ)器處理單元(MPU)架構(gòu)將延續(xù)這一趨勢(shì),并最終將最小顆粒的存儲(chǔ)器和邏輯完全共存 - 單個(gè)設(shè)備級(jí)別,以便有效處理各種計(jì)算任務(wù)。
我們注意到生物學(xué)一直服務(wù)并將繼續(xù)作為開發(fā)實(shí)現(xiàn)低功耗和實(shí)時(shí)學(xué)習(xí)系統(tǒng)的方法的巨大靈感。然而,正如自然界中的鳥類可能激發(fā)了現(xiàn)代航空技術(shù)的靈感,我們最終在新的方向和能力方面邁進(jìn)了更快的旅行,更大的承載能力和完全不同的加油要求。類似地,在計(jì)算中,現(xiàn)代應(yīng)用程序需要超越自然界面臨的那些,例如搜索大型數(shù)據(jù)庫(kù),有效地調(diào)度資源或解決高度耦合的微分方程組。有趣的是,憶阻器中觀察到的一些特征可能同樣在計(jì)算中提供“超越生物學(xué)”的機(jī)會(huì),利用新穎的設(shè)備動(dòng)態(tài)行為和受生物學(xué)啟發(fā)的網(wǎng)絡(luò)拓?fù)?。在這方面,諸如存儲(chǔ)器處理單元的概念代表了真正令人興奮的機(jī)會(huì)。要實(shí)現(xiàn)這些以及未來(lái)的其他新計(jì)算系統(tǒng),將需要超越任何單一學(xué)科的持續(xù)和創(chuàng)造研究,并且必須包括來(lái)自神經(jīng)科學(xué),物理學(xué),化學(xué),計(jì)算機(jī)科學(xué)以及電氣和計(jì)算機(jī)工程等的見解。
參考文獻(xiàn):The future of electronics based on memristive systems,Mohammed A. Zidan, John Paul Strachan & Wei D. Lu. Nature Electronics, 2018, 1, 22–29






























