今天要聊的是牛津大學(xué)的學(xué)者發(fā)布的一篇論文：

———NoProp：一種完全不靠前向/反向傳播的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。

圖注：論文地址：https://arxiv.org/pdf/2503.24322

換句話說，就是深度學(xué)習(xí)訓(xùn)練居然還能不用forward/backward？

讀完之后，發(fā)現(xiàn)作者真敢想，也真敢做，甚至還在MNIST和CIFAR-10/100上干到了SOTA級別。

1.傳統(tǒng)深度學(xué)習(xí)的“老路”

現(xiàn)在主流的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，基本都靠反向傳播（back-propagation）。

你從輸入跑一遍forward，輸出結(jié)果和標(biāo)簽比一比，算出損失，再把誤差信號沿著神經(jīng)網(wǎng)絡(luò)一層層反傳下去，調(diào)整每一層的參數(shù)——這就是經(jīng)典BP算法的全流程。

圖片

圖注：反向傳播可視化，圖片來自于《AI In 100 Images》。

它簡單粗暴，好用到稱霸深度學(xué)習(xí)幾十年。但BP其實(shí)也有一堆槽點(diǎn)：

• 完全不符合生物神經(jīng)元的工作方式，太“機(jī)械”了
• 要存一堆中間激活，內(nèi)存壓力大
• 梯度要一層層傳，想多機(jī)/分布式訓(xùn)練很難搞
• 還容易出現(xiàn)梯度消失、災(zāi)難性遺忘等毛病

所以，其實(shí)很多年都有人想另辟蹊徑，不靠BP來訓(xùn)練網(wǎng)絡(luò)。但一直沒啥特別靠譜的“新流派”能挑戰(zhàn)BP的地位。

2.NoProp：徹底不要forward和backward

NoProp，野心很大：既不要反向傳播，也不要傳統(tǒng)的前向傳播。

它的核心思想其實(shí)很“反直覺”：每一層都自己學(xué)會(huì)“去噪”一個(gè)被加了噪聲的目標(biāo)（標(biāo)簽），且每一層的訓(xùn)練都是獨(dú)立的，完全不需要梯度從頭傳到尾，也不需要逐層前向推理。

據(jù)說，靈感來自擴(kuò)散模型和flow matching（沒錯(cuò)，就是最近AI圖像領(lǐng)域炙手可熱的擴(kuò)散流派）；本質(zhì)上，每一層都是一個(gè)“去噪專家”，收到一個(gè)被加噪的標(biāo)簽和輸入后，自己想辦法把標(biāo)簽還原回來；另外，訓(xùn)練時(shí)直接喂每層加噪的“假標(biāo)簽”，讓它自己去學(xué)還原；而推理時(shí)，把上一層的輸出當(dāng)成“新噪聲”，繼續(xù)去噪，直到最后一層輸出

03 技術(shù)細(xì)節(jié)

圖片

技術(shù)細(xì)節(jié)大概有4步，

一：數(shù)據(jù)處理：每個(gè)樣本(x, y)，先把y（標(biāo)簽）映射到一個(gè)高維embedding空間，比如one-hot或learnable embedding。

二：加噪聲：按照固定或可學(xué)習(xí)的噪聲schedule，給標(biāo)簽embedding加上高斯噪聲，制造一個(gè)“帶噪標(biāo)簽”。

三：每層單獨(dú)訓(xùn)練：設(shè)計(jì)一套動(dòng)態(tài)塊，每層動(dòng)態(tài)塊都拿到（帶噪標(biāo)簽，圖片x）輸出去噪后的標(biāo)簽embedding；損失函數(shù)是預(yù)測的embedding和“干凈標(biāo)簽”之間的L2距離，加上分類損失和KL散度正則

四：推理時(shí)流程：從純噪聲出發(fā)，反復(fù)用每層動(dòng)態(tài)塊去噪，最后一層輸出的embedding送給softmax線性層，得到分類結(jié)果。

這種做法，和傳統(tǒng)擴(kuò)散模型的“反噪”過程很像，但目標(biāo)不是還原圖像，而是還原標(biāo)簽。

4.不靠BP，效果到底咋樣？

作者直接在MNIST、CIFAR-10、CIFAR-100上正面對比了NoProp和主流方法。結(jié)果是：NoProp在MNIST上能和BP打個(gè)平手，CIFAR-10/100也極具競爭力。

圖片

如上圖，NoProp-DT直接干平甚至略超傳統(tǒng)BP，遠(yuǎn)超以往“無反向傳播”方法。另外，內(nèi)存消耗也更低，訓(xùn)練更容易分布式/并行；連續(xù)時(shí)間版本（NoProp-CT、NoProp-FM）在CIFAR-10/100上也比主流ODE方法表現(xiàn)更高效。

NoProp根本不學(xué)“分層抽象表示”——每層的“表示”都是用戶指定的（比如高斯加噪的標(biāo)簽embedding），它只管把噪聲還原成標(biāo)簽，不去學(xué)什么“從低到高的抽象特征”。

其實(shí)，這就帶來一個(gè)問題：“分層抽象表示”真的是深度學(xué)習(xí)不可或缺的前提嗎？NoProp的實(shí)驗(yàn)表明：只要標(biāo)簽embedding設(shè)計(jì)得好，不學(xué)feature也能干正事。

有興趣的朋友可以看原文（https://arxiv.org/pdf/2503.24322），

NoProp的創(chuàng)新點(diǎn)和實(shí)驗(yàn)設(shè)計(jì)都非常細(xì)致，也許這條“去BP化”的路，能給AI帶來不一樣的想法。