這篇文章主要回答量化問題。量化問題主要包括以下情況：

“據(jù)我所知，每個方向0的衍生機(jī)率很低。除此之外，還有其他原因嗎？”

理論上，這個問題是可以驗(yàn)證的，而且這幾十年間也有很多研究人員一直在致力于驗(yàn)證它。

首先，我想指出無論如何這個問題已在實(shí)踐中得到了驗(yàn)證。這個觀點(diǎn)最初由LeCun在他早期的著作中提出。現(xiàn)在David G. Stork， Peter E. Hart， 和 Richard O. Duda合著的“小紅書”《圖形分類》中有討論。

20年前旋轉(zhuǎn)玻璃研究中這個問題已在濃縮物質(zhì)物理學(xué)中被大量解釋。

最基礎(chǔ)的項(xiàng)目由Parisi通過一個類似的非現(xiàn)實(shí)形式開發(fā)研究：

以靜態(tài)的觀點(diǎn)表現(xiàn)TAP的自由能量

后來采用了無規(guī)矩陣?yán)碚搶?shí)證的正確可行的方法論證。LeCun所談及的結(jié)果如下：

高維景觀的關(guān)鍵點(diǎn)

我來總結(jié)一下Parisi的方法：

他研究隨機(jī)哈密爾敦函數(shù)的其中一種——平均場自旋玻璃，被稱作P狀旋轉(zhuǎn)的球狀旋轉(zhuǎn)玻璃。他發(fā)現(xiàn)：

1.得出TAP自由能量的分析表達(dá)式（當(dāng)T>0時）TAP（索利斯安德森帕爾默）理論是研究旋轉(zhuǎn)玻璃的一般方法，而且能應(yīng)用于RBMs（可參閱《使用物理化學(xué)提高RMBs》）

2.可計算構(gòu)形的平均信息量，除此之外，還有復(fù)雜性度量——通過統(tǒng)計學(xué)理論的方法計算關(guān)鍵點(diǎn)的數(shù)量。

3.為了在能量水平E時計算關(guān)鍵點(diǎn)數(shù)量，可延伸這一結(jié)論到T=0的能量景觀。Paris得出的普適結(jié)果是所有本地最小化能量“集中（靜態(tài)上）”在輕微高于地球表面的一小部分地帶中。

一直未解釋的是為什么在研究旋轉(zhuǎn)玻璃中這是一個重要問題以及為什么P形球狀旋轉(zhuǎn)玻璃是研究目標(biāo)，除了它是一個已被論證的模型以及有大量深度學(xué)習(xí)研究人員可得出的硬性設(shè)想。

此外，在深度學(xué)習(xí)研究中，T=0能量觀景與T>0能量觀景之間沒有區(qū)別，雖然在傳統(tǒng)的方法中如RBMs和VAEs是假設(shè)T=1。

最近有更多的結(jié)論可嘗試直接應(yīng)用于深度學(xué)習(xí)研究中：

不存在極少的局部最小值的深度學(xué)習(xí)

這一結(jié)論進(jìn)一步假設(shè)SGD解決者實(shí)際中無法分辨鞍點(diǎn)與局部最小值的區(qū)別，因?yàn)镠essian理論的假設(shè)是很有問題的。LeCun最近的數(shù)值計算研究證實(shí)了這一點(diǎn)。他的研究顯示Hessian理論假設(shè)有很多0值。

偏向性梯度下降至谷底

我個人認(rèn)為這一結(jié)論還不完整，而且對于物理化學(xué)家，例如沃利尼斯*彼特來說，這方面的問題還有大量研究工作。這個議題在被稱作“亞當(dāng)?shù)睦吖?rdquo;現(xiàn)象以及關(guān)聯(lián)的在真實(shí)結(jié)構(gòu)性玻璃出現(xiàn)的平均信息量危機(jī)的極冷玻璃理論中一個讓人非常迷惑的現(xiàn)象。這個題目很深奧，但足以說明P旋轉(zhuǎn)球狀旋轉(zhuǎn)玻璃非常有趣的原因是這是一個簡單的旋轉(zhuǎn)玻璃模型，具有大量的真實(shí)能量觀景。它表現(xiàn)了平均信息量危機(jī)。事實(shí)上，我設(shè)想深網(wǎng)也將表現(xiàn)出平均信息量危機(jī)，例如：當(dāng)深網(wǎng)被過度訓(xùn)練后他們會呈現(xiàn)出很多假設(shè)性的平均信息量。

由于過度訓(xùn)練而引發(fā)的平均信息量危機(jī)將呈現(xiàn)為高聳的山峰，因?yàn)樗哑x假設(shè)性平均信息量，類似于LeCun在他的關(guān)于平均信息量SGD論著中提及的。而且這一現(xiàn)象最近在RBMs被觀察到。

[1612.01.1717] 具有二元突觸的限制性波爾茲曼機(jī)器的非監(jiān)控特征的統(tǒng)計力學(xué)

這些漏斗狀的觀景可從蛋白質(zhì)折疊中觀察到。

那么，為什么深度學(xué)習(xí)可行呢？

我在UC 伯克利大學(xué)的2016夏季MDDS 討論中談及了這些問題 （可點(diǎn)擊 閱讀原文 查看視頻）。