《自然》發(fā)表“AI教父”辛頓的FF算法在卷積神經(jīng)網(wǎng)絡(luò)中的最新系統(tǒng)擴(kuò)展,這是類腦學(xué)習(xí)的重大進(jìn)步
深度學(xué)習(xí)的崛起幾乎完全依賴于反向傳播(Backpropagation,BP)算法。BP通過鏈?zhǔn)椒▌t逐層計(jì)算梯度,使得數(shù)以百萬計(jì)的參數(shù)能夠在訓(xùn)練過程中不斷調(diào)整。然而,這一方法在實(shí)際應(yīng)用中存在顯著局限,BP需要存儲(chǔ)大量中間激活值,導(dǎo)致顯存消耗極高,BP依賴的計(jì)算模式在類腦硬件或非傳統(tǒng)計(jì)算架構(gòu)上難以實(shí)現(xiàn),從生物學(xué)角度看,人腦的學(xué)習(xí)機(jī)制與BP存在根本差異,這使得BP在“類腦學(xué)習(xí)”的探索中顯得不夠自然。在這樣的背景下,GeoffreyHinton...