深度學(xué)習(xí)：幾何視角

關(guān)于深度學(xué)習(xí)最令人吃驚的事實(shí)莫過于它的簡(jiǎn)單程度。10 年前，沒人想到我們會(huì)使用簡(jiǎn)單的梯度下降參數(shù)模型在機(jī)器認(rèn)知領(lǐng)域取得如此卓越的成績(jī)。現(xiàn)在，只需要在足夠多的樣本上用梯度下降方法訓(xùn)練出足夠大的參數(shù)模型即可。正如費(fèi)曼曾經(jīng)說的：「宇宙并不復(fù)雜，它只是由若干個(gè)宇宙組成而已。」

在深度學(xué)習(xí)領(lǐng)域，一切都只是向量，即一切都是幾何空間中的點(diǎn)。模型輸入（可以是文本、圖像等）和目標(biāo)都要首先進(jìn)行向量化，即轉(zhuǎn)換成原始輸入向量空間和目標(biāo)向量空間。深度學(xué)習(xí)模型的每一層對(duì)其中的數(shù)據(jù)進(jìn)行簡(jiǎn)單的幾何變換。多個(gè)層就形成一個(gè)非常復(fù)雜的幾何變換，可以被拆解成多個(gè)簡(jiǎn)單的幾何變換。這一復(fù)雜的幾何變換嘗試在輸入空間和目標(biāo)空間之間建立映射關(guān)系，一次對(duì)應(yīng)一個(gè)點(diǎn)。該變換通過各層的權(quán)重被參數(shù)化，并根據(jù)該模型當(dāng)前的運(yùn)行狀況迭代更新。該幾何變換的關(guān)鍵特征是它必須可微，以使我們能夠通過梯度下降學(xué)習(xí)它的參數(shù)。直觀來看，這意味著從輸入到輸出的幾何變形必須持續(xù)連貫，這也是一個(gè)很大的約束。

將該幾何變換應(yīng)用到輸入數(shù)據(jù)中的整個(gè)過程可以通過想象人撫平紙球?qū)崿F(xiàn) 3D 可視化：弄皺的紙球代表模型開始時(shí)的大量輸入數(shù)據(jù)，人在紙球上的每一個(gè)動(dòng)作相當(dāng)于每一層做出的簡(jiǎn)單的幾何變換。全部的撫平動(dòng)作就是整個(gè)模型的復(fù)雜幾何變換。深度學(xué)習(xí)模型就是撫平復(fù)雜大量的高維數(shù)據(jù)的數(shù)學(xué)機(jī)器。

這就是深度學(xué)習(xí)的魔力：將意義轉(zhuǎn)換成向量和幾何空間，然后逐漸學(xué)習(xí)復(fù)雜的幾何變換，把一個(gè)空間與另一個(gè)空間建立映射關(guān)系。你只需要足夠高維的空間來獲取原始數(shù)據(jù)中所有關(guān)系。

深度學(xué)習(xí)的局限

這一簡(jiǎn)單策略可以應(yīng)用的空間近乎無限。但是，更多的應(yīng)用完全無法使用當(dāng)前的深度學(xué)習(xí)技術(shù)，即使擁有海量人工標(biāo)注數(shù)據(jù)。例如，你可以收集一個(gè)數(shù)據(jù)集，包含幾十萬甚至幾百萬軟件特征英文說明和工程師團(tuán)隊(duì)為滿足這些要求開發(fā)的對(duì)應(yīng)源代碼。但即使有了這些數(shù)據(jù)，你仍然無法訓(xùn)練一個(gè)深度學(xué)習(xí)模型，使之讀取產(chǎn)品說明之后即可輸出對(duì)應(yīng)的代碼庫。這只是無數(shù)例子中的一個(gè)。一般來說，要求推理的所有事物，如編程、應(yīng)用科學(xué)方法進(jìn)行長(zhǎng)期規(guī)劃，以及與算法類似的數(shù)據(jù)操作，都不適合使用深度學(xué)習(xí)模型，不管你有多少數(shù)據(jù)。即使是用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)排序算法也非常困難。

這是因?yàn)樯疃葘W(xué)習(xí)模型「只是」一串簡(jiǎn)單、持續(xù)、將一個(gè)向量空間映射到另一個(gè)向量空間的幾何變換。假設(shè)從 X 到 Y 的轉(zhuǎn)換是持續(xù)且可學(xué)習(xí)的，X:Y 的大量樣本可用作訓(xùn)練數(shù)據(jù)，那么該幾何變換只能將一個(gè)數(shù)據(jù)流形 X 映射到另一個(gè)數(shù)據(jù)流形 Y。因此，即使一個(gè)深度學(xué)習(xí)模型可以被理解為一種程序（反過來大部分程序不能說是深度學(xué)習(xí)模型），對(duì)于大多數(shù)任務(wù)而言，要么沒有合適規(guī)模的深度神經(jīng)網(wǎng)絡(luò)，要么即使有，該網(wǎng)絡(luò)也是不可學(xué)習(xí)的，即對(duì)應(yīng)的幾何變換可能過于復(fù)雜，或無法獲取合適的數(shù)據(jù)來學(xué)習(xí)該網(wǎng)絡(luò)。

通過疊加更多層、使用更多訓(xùn)練數(shù)據(jù)來提升當(dāng)前的深度學(xué)習(xí)技術(shù)治標(biāo)不治本，無法解決深度學(xué)習(xí)模型的一個(gè)更基本的問題，即深度學(xué)習(xí)模型能夠表示的范圍非常局限，多數(shù)你希望可以學(xué)習(xí)的程序都不能被表達(dá)為對(duì)數(shù)據(jù)流形持續(xù)的幾何變形。

機(jī)器學(xué)習(xí)模型擬人化的風(fēng)險(xiǎn)

當(dāng)前 AI 發(fā)展中一個(gè)非常真實(shí)的風(fēng)險(xiǎn)是對(duì)深度學(xué)習(xí)模型的誤解和對(duì)其能力的高估。人類思想的基本特征是「心智理論」（theory of mind），即我們能夠理解周圍人意圖、信仰和知識(shí)的能力。在石頭上畫笑臉立刻就可以讓我們的大腦覺得「快樂」。如果將其引申到深度學(xué)習(xí)領(lǐng)域，這意味著當(dāng)我們成功地訓(xùn)練出一個(gè)給圖片添加說明的模型，我們傾向于相信該模型「理解」圖片內(nèi)容和它生成的內(nèi)容。之后，當(dāng)輸入的圖片與訓(xùn)練數(shù)據(jù)中的圖片類型稍有不同，我們將驚訝地發(fā)現(xiàn)該模型輸出的圖片說明非常離譜。

??

[[197939]]

這種情況在使用對(duì)抗實(shí)例時(shí)尤甚。對(duì)抗實(shí)例指設(shè)計(jì)出用來混淆深度學(xué)習(xí)網(wǎng)絡(luò)的輸入實(shí)例。你已經(jīng)意識(shí)到，在輸入空間進(jìn)行梯度下降有可能生成使 convnet 篩選器活性最大化的輸入樣本。類似地，通過梯度下降，你可以稍微修改圖像以使對(duì)給定類別的分類預(yù)測(cè)最大化。給熊貓拍一張照片，并添加梯度「長(zhǎng)臂猿」，然后我們就可以得到一個(gè)把這只熊貓當(dāng)作長(zhǎng)臂猿的神經(jīng)網(wǎng)絡(luò)。這說明了模型的脆弱性，以及模型運(yùn)行的輸入-輸出映射和人類的認(rèn)知存在巨大不同。

??

簡(jiǎn)而言之，深度學(xué)習(xí)模型完全不理解輸入樣本，至少不具備人類的認(rèn)知能力。我們對(duì)圖像、聲音和語言的理解來自于我們作為人類的感覺動(dòng)作經(jīng)驗(yàn)（sensorimotor experience）。機(jī)器學(xué)習(xí)模型無法獲取此類經(jīng)驗(yàn)，因此無法以人類的方式「理解」輸入樣本。標(biāo)注大量訓(xùn)練實(shí)例并輸入到模型中，模型將學(xué)會(huì)把數(shù)據(jù)映射到人類對(duì)該特定樣本集的概念的幾何變換，但是該映射只是對(duì)我們頭腦中原始模型過分簡(jiǎn)單化的表達(dá)，是從我們的經(jīng)驗(yàn)中開發(fā)出來的具身智能體，像真人在鏡子里面模糊的影子。

作為一名機(jī)器學(xué)習(xí)實(shí)踐者，我經(jīng)常提醒自己不要跌進(jìn)神經(jīng)網(wǎng)絡(luò)理解其所執(zhí)行任務(wù)的陷阱。它們不能理解，至少理解的方式與人類不同。它們訓(xùn)練的基礎(chǔ)與我們想要教給它們的任務(wù)不同，且更加狹窄：將訓(xùn)練中的輸入樣本點(diǎn)對(duì)點(diǎn)地映射到目標(biāo)樣本。一旦給它們?nèi)魏闻c訓(xùn)練數(shù)據(jù)不同的數(shù)據(jù)，它們就會(huì)輸出荒謬的結(jié)果。

局部泛化 VS 極端泛化

深度學(xué)習(xí)模型中從輸入到輸出的直接幾何變形與人類的思考和學(xué)習(xí)方式存在根本區(qū)別。這種區(qū)別不在于人類通過具身化的經(jīng)驗(yàn)自學(xué)，而非經(jīng)過明確的訓(xùn)練樣本的訓(xùn)練而習(xí)得。除了不同的學(xué)習(xí)流程以外，二者的底層表示也存在本質(zhì)區(qū)別。

人類的能力遠(yuǎn)遠(yuǎn)不止將直接刺激映射到直接反應(yīng)，像深度網(wǎng)絡(luò)或一只昆蟲做到的那樣。人類對(duì)自己或他人的當(dāng)前處境有一個(gè)復(fù)雜、抽象的模型，這些模型可用于預(yù)測(cè)未來不同的可能性并執(zhí)行長(zhǎng)期規(guī)劃。他們能夠整合已知概念，來呈現(xiàn)他們從未體驗(yàn)過的事情，比如畫一匹穿著牛仔的馬，或者想象中彩票后的行為。這種處理假設(shè)的能力將我們的心理模型空間擴(kuò)展到遠(yuǎn)超我們可以直接體驗(yàn)的范疇，也就是說，抽象化和推理可以說是人類認(rèn)知的定義性特征。我將其稱為「極端泛化」：一種使用非常少的數(shù)據(jù)甚至不使用數(shù)據(jù)來適應(yīng)全新的、之前從未體驗(yàn)過的情形的能力。

這與深度神經(jīng)網(wǎng)絡(luò)的模式存在巨大不同，后者我稱之為「局部泛化」：一旦新的輸入與模型訓(xùn)練時(shí)遇到的數(shù)據(jù)稍有不同，深度網(wǎng)絡(luò)執(zhí)行的從輸入到輸出的映射很快就會(huì)停止。比如，學(xué)習(xí)合適的發(fā)射參數(shù)使火箭順利登月。如果你使用深度網(wǎng)絡(luò)應(yīng)對(duì)該任務(wù)，那么不管使用監(jiān)督學(xué)習(xí)還是強(qiáng)化學(xué)習(xí)來訓(xùn)練，你仍然需要進(jìn)行數(shù)千次甚至幾百萬次發(fā)射試驗(yàn)，即你需要給模型的輸入空間提供大量樣本，來學(xué)習(xí)可靠的輸入空間與輸出空間的映射。與之相反的是，人類能夠使用自己抽象能力創(chuàng)造物理模型——火箭科學(xué)，經(jīng)過一次或幾次試驗(yàn)之后即可獲得精確解。類似地，如果你開發(fā)一個(gè)深度網(wǎng)絡(luò)來控制人類身體，想讓它學(xué)會(huì)在不撞車的情況下安全穿過城市，那么該網(wǎng)絡(luò)在推斷出車輛很危險(xiǎn)并培養(yǎng)出合適的躲避行為之前，會(huì)死無數(shù)次。當(dāng)它進(jìn)入一個(gè)新城市時(shí)，它必須重新學(xué)習(xí)它已經(jīng)了解的大部分?jǐn)?shù)據(jù)。然而，人類能夠在一次都不死的情況下學(xué)習(xí)安全行為，同樣地，這多虧了他們對(duì)假設(shè)情形的抽象建模能力。

??

總之，盡管我們?cè)跈C(jī)器認(rèn)知領(lǐng)域取得很大進(jìn)步，但是人類水準(zhǔn)的 AI 離我們?nèi)匀环浅＿b遠(yuǎn)：我們的模型只能執(zhí)行局部泛化，適應(yīng)與以往數(shù)據(jù)非常接近的新情形，而人類認(rèn)知能夠進(jìn)行極端泛化，快速適應(yīng)全新情況，或者對(duì)很久以后的事情進(jìn)行規(guī)劃。

結(jié)語

你應(yīng)該記住：深度學(xué)習(xí)目前唯一真正的成功是具備在擁有大量人類標(biāo)注數(shù)據(jù)的情況下，使用持續(xù)的幾何變換在 X 空間與 Y 空間之間建立映射的能力。把這件事做好就可以從根本上變革每個(gè)行業(yè)，但是我們離人類水準(zhǔn)的 AI 仍有很大距離。

要想解決這些局限，使 AI 可以與人類大腦競(jìng)爭(zhēng)，我們需要將目光從直接的輸入-輸出映射上移開，去關(guān)注推理和抽象。適合多種情況和概念的抽象建模基質(zhì)可能就是計(jì)算機(jī)程序的抽象建模能力。我們之前說過機(jī)器學(xué)習(xí)模型是「會(huì)學(xué)習(xí)的程序」；現(xiàn)在我們所了解的程序僅是所有程序的非常狹窄的特定子集。但是，如果我們能夠用一種模塊化和可重用的方式學(xué)習(xí)任何程序，又會(huì)怎么樣呢？這或許就是未來 AI 的發(fā)展方向。