黑箱、煉金術(shù)、大力出奇跡。。。

這些看起來與嚴謹?shù)目茖W和數(shù)學格格不入的詞匯，卻成為當下描述大語言模型（LLM）最貼切的比喻。

陶哲軒最近就發(fā)表了類似的觀點。

當前AI領(lǐng)域的許多突破，更像是工業(yè)界「大力出奇跡」式的成功，而并非理論先行的成果。

除了優(yōu)化數(shù)學和數(shù)值線性代數(shù)這兩個相對成熟的領(lǐng)域之外，用于解釋AI優(yōu)缺點的大多數(shù)理論數(shù)學框架仍處于早期發(fā)展階段。

目前的主要瓶頸并不完全是基礎(chǔ)研究資金的缺乏，而是我們對這些數(shù)學本身的理解尚未達到我們所期望的程度。

如今LLM這種成功更多依賴于大量的試錯、海量的數(shù)據(jù)和強大的算力，卻缺乏嚴謹系統(tǒng)的理論支撐。

AI研究的現(xiàn)狀是明顯缺乏系統(tǒng)性的理論解釋，而高度依賴經(jīng)驗主義和數(shù)據(jù)驅(qū)動的方式。

這導致的一個突出問題便是，成功的案例往往難以復(fù)制，而真正前景光明的用途反而容易意外碰壁。

即使是被譽為「AI教父」的辛頓，對此也有深刻反思。他曾明確指出：

• 「深度學習系統(tǒng)沒有任何解釋能力」—「系統(tǒng)越強大越不透明」
• 準確揭示了模型雖然能工作，但其內(nèi)部「為什么這么做」我們卻不知道
• 他警告，未來 AI 系統(tǒng)可能會發(fā)展出我們無法理解的內(nèi)部語言
• 進一步讓人類無法追蹤其思路與計劃，使得「黑箱」更深不可測

甚至，有人評論，目前對AI的投資不僅沒有促進基礎(chǔ)研究，反而是「肥了」那些黑箱制造商，比如OpenAI、Anthropic、谷歌。。。

陶哲軒一開始討論的是「壓縮感知領(lǐng)域」。

陶哲軒將當前的AI研究現(xiàn)狀與早期壓縮感知領(lǐng)域的情況做了類比。

壓縮感知最初由數(shù)學家提出了極為嚴格的理論假設(shè)及證明框架，明確了特定條件下算法一定會有效的前提。

然而，實際上早在這些理論出現(xiàn)之前，MRI、地震學、天文學等應(yīng)用領(lǐng)域早已通過經(jīng)驗和實驗摸索出了類似的方法。

這說明，盡管理論在事后給予了嚴謹?shù)淖C明和統(tǒng)一的解釋，但在實際應(yīng)用上，卻并非不可或缺。

LLM的情況則更加極端：即使到目前為止，能準確解釋其成功原因的理論框架仍然完全缺位。

類似GPT-4這樣的模型，以驚人的效果震撼了世界，但它們的出現(xiàn)更多是工業(yè)界巨頭憑借龐大資源進行盲目實驗的產(chǎn)物，而非建立在深厚的理論理解基礎(chǔ)上。

這讓我們不禁想起Ilya早年的看法：他認為機器學習領(lǐng)域最先進的理論往往非常接地氣，你很容易就能理解。

正因為如此，AI領(lǐng)域經(jīng)常出現(xiàn)難以解釋的現(xiàn)象。

比如，一個模型在特定任務(wù)上展現(xiàn)出強大能力，但換一個看似相近的任務(wù)，它卻莫名其妙地失敗了。

同樣的技術(shù)方法在不同的模型之間難以復(fù)制，某個特定的模型訓練策略在一個情景下取得突破，卻無法在其他場景中重現(xiàn)。

更直白地講，目前人類對AI成功背后的真正機制幾乎毫無頭緒。

即使是辛頓他老人家除了只能「敦促」各國往善良AI發(fā)展外，似乎也并沒有更深入的解釋。

盡管有大量論文試圖分析LLM的內(nèi)部運作機制，但大多停留在表面現(xiàn)象和經(jīng)驗規(guī)律的描述上，距離真正的理論基礎(chǔ)和第一性原理分析仍然遙遠。

事實上，當前深度學習領(lǐng)域中唯一相對成熟的理論工具僅限于數(shù)值優(yōu)化方法（如梯度下降）和線性代數(shù)的應(yīng)用（矩陣運算），而其它更高級的數(shù)學工具——如高維統(tǒng)計理論、信息幾何理論、隨機矩陣理論等——尚未能真正有效地指導深度學習的工程實踐。

機器學習領(lǐng)域的著名研究員Ali Rahimi早在2017年就曾尖銳地批評過這一現(xiàn)狀，稱當前的機器學習研究如同「煉金術(shù)」，其本質(zhì)是缺乏系統(tǒng)性的科學理論指導。

Rahimi指出，我們的機器學習模型越來越強大，但我們卻不清楚為何這些模型能如此有效，更無法準確預(yù)測其在未來任務(wù)上的表現(xiàn)。

著名計算機科學家、AI先驅(qū)Michael Jordan也持相似看法。

他形象地指出，當前AI的進步就如同在沒有任何橋梁工程理論的情況下盲目建橋，有些橋可能僥幸沒有倒塌，但一些則不可避免地會失敗。

換句話說，缺乏系統(tǒng)的理論支撐導致當前AI領(lǐng)域成功的偶然性大幅增加，真正的可持續(xù)進步變得困難。

對于陶哲軒而言，壓縮感知的早期歷史提供了一些啟示：理論雖非一切，但良好的理論能夠?qū)α闵⒔?jīng)驗進行有效的統(tǒng)一，并提供跨領(lǐng)域的普適性標準。

用陶哲軒的話，就是數(shù)學定理（理論）為領(lǐng)域帶來的是一種清晰性、洞察力、普遍性以及信任度，而這些并不是僅靠經(jīng)驗得出的結(jié)果本身所能提供的。

簡單說，就是雖然沒有理論隨便修橋可能會成功，但如果想要提前確保成功，你必須有堅實的理論基礎(chǔ)。

陶哲軒還舉了一個例子。

像昂貴的MRI（核磁共振）設(shè)備制造商（西門子、通用電氣、飛利浦、東芝等）若要真正投入大量研發(fā)資源，嘗試將壓縮感知算法應(yīng)用到他們的最新機型中（他們現(xiàn)在都已經(jīng)這樣做了），就必須高度確信在將理論論證實際應(yīng)用時不會遇到根本性的障礙。

在這里，起關(guān)鍵作用的并不僅僅是我（陶哲軒）或其他人提出的某個定理，而是數(shù)學信號處理文獻中壓縮感知結(jié)果的顯著廣度（使用了多種不同的數(shù)學領(lǐng)域得出了相同的結(jié)論），以及數(shù)學領(lǐng)域現(xiàn)在認為與醫(yī)學成像背景相似的其他學科中的壓縮感知實驗，這些因素共同說服了這些公司，使其相信風險足夠低，從財政角度看值得進行相應(yīng)的投資。

簡單來說就是，邏輯上嚴絲合縫，靠著完美的「推導」建立投資自信。

AI領(lǐng)域呢？

總之，AI領(lǐng)域迫切需要解決的并非單純增加資金或數(shù)據(jù)規(guī)模，而是找到真正的理論根基。

黑箱、煉金術(shù)與大力出奇跡的時代終究不是長久之計。

我們需要更多嚴謹?shù)睦碚撎剿?，更少盲目的試錯與幸運的賭博。

只有如此，AI領(lǐng)域才能真正實現(xiàn)可持續(xù)的發(fā)展，成功的案例才能夠廣泛而穩(wěn)定地復(fù)制，人類才能真正安全地將未來托付給AI。

幸運的是，目前已經(jīng)很多這方面的研究。