統計學和機器學習到底有什么區別？

作者：大數據文摘 2019-04-23 08:23:51

開發開發工具機器學習

一位名叫Matthew Stewart的哈佛大學博士生從統計與機器學習的不同；統計模型與機器學習的不同，這兩個角度論證了機器學習和統計學并不是互為代名詞。

[[263249]]

大數據文摘出品

來源：medium

編譯：周家樂、狗小白、蔣寶尚

統計學和機器學習之間的界定一直很模糊。

無論是業界還是學界一直認為機器學習只是統計學批了一層光鮮的外衣。

而機器學習支撐的人工智能也被稱為“統計學的外延”

例如，諾獎得主托馬斯·薩金特曾經說過人工智能其實就是統計學，只不過用了一個很華麗的辭藻。

薩金特在世界科技創新論壇上表示，人工智能其實就是統計學

當然也有一些不同的聲音。但是這一觀點的正反雙方在爭吵中充斥著一堆看似高深實則含糊的論述，著實讓人摸不著頭腦。

一位名叫Matthew Stewart的哈佛大學博士生從統計與機器學習的不同;統計模型與機器學習的不同，這兩個角度論證了機器學習和統計學并不是互為代名詞。

機器學習和統計的主要區別在于它們的目的

[[263250]]

與大部分人所想的正相反，機器學習其實已經存在幾十年了。當初只是因為那時的計算能力無法滿足它對大量計算的需求，而漸漸被人遺棄。然而，近年來，由于信息爆炸所帶來的數據和算力優勢，機器學習正快速復蘇。

言歸正傳，如果說機器學習和統計學是互為代名詞，那為什么我們沒有看到每所大學的統計學系都關門大吉而轉投'機器學習'系呢?因為它們是不一樣的!

我經常聽到一些關于這個話題的含糊論述，最常見的是這樣的說法:

"機器學習和統計的主要區別在于它們的目的。機器學習模型旨在使最準確的預測成為可能。統計模型是為推斷變量之間的關系而設計的。

雖然技術上來說這是正確的，但這樣的論述并沒有給出特別清晰和令人滿意的答案。機器學習和統計之間的一個主要區別確實是它們的目的。

然而，說機器學習是關于準確的預測，而統計模型是為推理而設計，幾乎是毫無意義的說法，除非你真的精通這些概念。

[[263251]]

首先，我們必須明白，統計和統計建模是不一樣的。統計是對數據的數學研究。除非有數據，否則無法進行統計。統計模型是數據的模型，主要用于推斷數據中不同內容的關系，或創建能夠預測未來值的模型。通常情況下，這兩者是相輔相成的。

因此，實際上我們需要從兩方面來論述：***，統計與機器學習有何不同;第二，統計模型與機器學習有何不同?

說的更直白些就是，有很多統計模型可以做出預測，但預測效果比較差強人意。

而機器學習通常會犧牲可解釋性以獲得強大的預測能力。例如，從線性回歸到神經網絡，盡管解釋性變差，但是預測能力卻大幅提高。

從宏觀角度來看，這是一個很好的答案。至少對大多數人來說已經足夠好。然而，在有些情況下，這種說法容易讓我們對機器學習和統計建模之間的差異產生誤解。讓我們看一下線性回歸的例子。

統計模型與機器學習在線性回歸上的差異

或許是因為統計建模和機器學習中使用方法的相似性，使人們認為它們是同一個東西。對這我可以理解，但事實上不是這樣。

最明顯的例子是線性回歸，這可能是造成這種誤解的主要原因。線性回歸是一種統計方法，通過這種方法我們既可以訓練一個線性回歸器，又可以通過最小二乘法擬合一個統計回歸模型。

可以看到，在這個案例中，前者做的事兒叫"訓練"模型，它只用到了數據的一個子集，而訓練得到的模型究竟表現如何需要通過數據的另一個子集測試集測試之后才能知道。在這個例子中，機器學習的最終目的是在測試集上獲得***性能。

對于后者，我們則事先假設數據是一個具有高斯噪聲的線性回歸量，然后試圖找到一條線，***限度地減少了所有數據的均方誤差。不需要訓練或測試集，在許多情況下，特別是在研究中(如下面的傳感器示例)，建模的目的是描述數據與輸出變量之間的關系, 而不是對未來數據進行預測。我們稱此過程為統計推斷，而不是預測。盡管我們可以使用此模型進行預測，這也可能是你所想的，但評估模型的方法不再是測試集，而是評估模型參數的顯著性和健壯性。

機器學習(這里特指有監督學習)的目的是獲得一個可反復預測的模型。我們通常不關心模型是否可以解釋。機器學習只在乎結果。就好比對公司而言，你的價值只用你的表現來衡量。而統計建模更多的是為了尋找變量之間的關系和確定關系的顯著性，恰巧迎合了預測。

下面我舉一個自己的例子，來說明兩者的區別。我是一名環境科學家。工作的主要內容是和傳感器數據打交道。如果我試圖證明傳感器能夠對某種刺激(如氣體濃度)做出反應, 那么我將使用統計模型來確定信號響應是否具有統計顯著性。我會嘗試理解這種關系，并測試其可重復性，以便能夠準確地描述傳感器的響應，并根據這些數據做出推斷。我還可能測試，響應是否是線性的?響應是否歸因于氣體濃度而不是傳感器中的隨機噪聲?等等。

而同時，我也可以拿著從20個不同傳感器得到的數據, 去嘗試預測一個可由他們表征的傳感器的響應。如果你對傳感器了解不多，這可能會顯得有些奇怪，但目前這確實是環境科學的一個重要研究領域。

用一個包含20個不同變量的模型來表征傳感器的輸出顯然是一種預測，而且我也沒期待模型是可解釋的。要知道，由于化學動力學產生的非線性以及物理變量與氣體濃度之間的關系等等因素，可能會使這個模型非常深奧，就像神經網絡那樣難以解釋。盡管我希望這個模型能讓人看懂, 但其實只要它能做出準確的預測，我就相當高興了。

如果我試圖證明數據變量之間的關系在某種程度上具有統計顯著性，以便我可以在科學論文中發表，我將使用統計模型而不是機器學習。這是因為我更關心變量之間的關系，而不是做出預測。做出預測可能仍然很重要，但是大多數機器學習算法缺乏可解釋性，這使得很難證明數據中存在的關系。

很明顯，這兩種方法在目標上是不同的，盡管使用了相似的方法來達到目標。機器學習算法的評估使用測試集來驗證其準確性。然而，對于統計模型，通過置信區間、顯著性檢驗和其他檢驗對回歸參數進行分析，可以用來評估模型的合法性。因為這些方法產生相同的結果，所以很容易理解為什么人們會假設它們是相同的。

統計與機器學習在線性回歸上的差異

有一個誤解存在了10年：僅基于它們都利用相同的基本概率概念這一事實，來混淆這兩個術語是不合理的。

然而，僅僅基于這兩個術語都利用了概率里相同的基本概念這一事實而將他們混為一談是不合理的。就好比，如果我們僅僅把機器學習當作皮了一層光鮮外衣的統計，我們也可以這樣說：

物理只是數學的一種更好聽的說法。
動物學只是郵票收藏的一種更好聽的說法。
建筑學只是沙堡建筑的一種更好聽的說法。

這些說法(尤其是***一個)非常荒謬，完全混淆了兩個類似想法的術語。

實際上，物理是建立在數學基礎上的，理解現實中的物理現象是數學的應用。物理學還包括統計學的各個方面，而現代統計學通常是建立在Zermelo-Frankel集合論與測量理論相結合的框架中，以產生概率空間。它們有很多共同點，因為它們來自相似的起源，并運用相似的思想得出一個邏輯結論。同樣，建筑學和沙堡建筑可能有很多共同點，但即使我不是一個建筑師，也不能給出一個清晰的解釋，但也看得出它們顯然不一樣。

在我們進一步討論之前，需要簡要澄清另外兩個與機器學習和統計有關的常見誤解。這就是人工智能不同于機器學習，數據科學不同于統計學。這些都是沒有爭議的問題，所以很快就能說清楚。

數據科學本質上是應用于數據的計算和統計方法，包括小數據集或大數據集。它也包括諸如探索性數據分析之類的東西，例如對數據進行檢查和可視化，以幫助科學家更好地理解數據，并從中做出推論。數據科學還包括諸如數據包裝和預處理之類的東西，因此涉及到一定程度的計算機科學，因為它涉及編碼和建立數據庫、Web服務器之間的連接和流水線等等。

要進行統計，你并不一定得依靠電腦，但如果是數據科學缺了電腦就沒法操作了。這就再次說明了雖然數據科學借助統計學，這兩者不是一個概念。

同理，機器學習也并非人工智能;事實上，機器學習是人工智能的一個分支。這一點挺明顯的，因為我們基于以往的數據“教”(訓練)機器對特定類型的數據進行概括性的預測。

機器學習是基于統計學

在我們討論統計學和機器學習之間的區別前，我們先來說說其相似性，其實文章的前半段已經對此有過一些探討了。

機器學習基于統計的框架，因為機器學習涉及數據，而數據必須基于統計學框架來進行描述，所以這點十分明顯。然而，擴展至針對大量粒子的熱力學的統計機制，同樣也建立在統計學框架之下。

壓力的概念其實是數據，溫度也是一種數據。你可能覺得這聽起來不合理，但這是真的。這就是為什么你不能描述一個分子的溫度或壓力，這不合理。溫度是分子相撞產生的平均能量的顯示。而例如房屋或室外這種擁有大量分子的，我們能用溫度來描述也就合理了。

你會認為熱力學和統計學是一個東西嗎?當然不會，熱力學借助統計學來幫助我們理解運動的相互作用以及轉移現象中產生的熱。

事實上，熱力學基于多種學科而非僅僅統計學。類似地，機器學習基于許多其他領域的內容，比如數學和計算機科學。舉例來說：

機器學習的理論來源于數學和統計學
機器學習算法基于優化理論、矩陣代數和微積分
機器學習的實現來源于計算機科學和工程學概念，比如核映射、特征散列等。

當一個人開始用Python開始編程，突然從Sklearn程序庫里找出并使用這些算法，許多上述的概念都比較抽象，因此很難看出其中的區別。這樣的情況下，這種抽象定義也就致使了對機器學習真正包含的內容一定程度上的無知。

統計學習理論——機器學習的統計學基礎

統計學和機器學習之間最主要的區別在于統計學完全基于概率空間。你可以從集合論中推導出全部的統計學內容，集合論討論了我們如何將數據歸類(這些類被稱為“集”)，然后對這個集進行某種測量保證其總和為1.我們將這種方法成為概率空間。

統計學除了對這些集合和測量有所定義之外沒有其他假設。這就是為什么我們對概率空間的定義非常嚴謹的原因。一個概率空間，其數學符號寫作(Ω,F,P)，包含三部分：

一個樣本空間，Ω，也就是所有可能結果的集合。
一個事件集合，F，每個事件都包含0或者其它值。
對每個事件發生的可能性賦予概率，P，這是一個從事件到概率的函數。

機器學習基于統計學習理論，統計學習理論也依舊基于對概率空間的公理化語言。這個理論基于傳統的統計學理論，并發展于19世紀60年代。

機器學習分為多個類別，這篇文章我僅著眼于監督學習理論，因為它最容易解釋(雖然因其充斥數學概念依然顯得晦澀難懂)。

統計學習理論中的監督學習，給了我們一個數據集，我們將其標為S= {(xᵢ,yᵢ)}，也就是說我們有一個包含N個數據點的數據集，每個數據點由被稱為“特征”的其它值描述，這些特征用x描述，這些特征通過特定函數來描繪以返回我們想要的y值。

已知這個數據集，問如何找到將x值映射到y值的函數。我們將所有可能的描述映射過程的函數集合稱為假設空間。

為了找到這個函數，我們需要給算法一些方法來“學習”如何***地著手處理這個問題，而這由一個被稱為“損失函數”的概念來提供。因此，對我們所有的每個假設(也即提議的函數)，我們要通過比較所有數據下其預期風險的值來衡量這個函數的表現。

預期風險本質上就是損失函數之和乘以數據的概率分布。如果我們知道這個映射的聯合概率分布，找到***函數就很簡單了。但是這個聯合概率分布通常是未知的，因此我們***的方式就是猜測一個***函數，再實證驗證損失函數是否得到優化。我們將這種稱為實證風險。

之后，我們就可以比較不同函數，找出最小預期風險的那個假設，也就是所有函數中得出最小下確界值的那個假設。

然而，為了最小化損失函數，算法有通過過度擬合來作弊的傾向。這也是為什么要通過訓練集“學習”函數，之后在訓練集之外的數據集，測試集里對函數進行驗證。

我們如何定義機器學習的本質引出了過度擬合的問題，也對需要區分訓練集和測試集作出了解釋。而我們在統計學中無需試圖最小化實證風險，過度擬合不是統計學的固有特征。最小化統計學中無需視圖程向于一個從函數中選取最小化實證風險的學習算法被稱為實證風險最小化

例證

以線性回歸做一個簡單例子。在傳統概念中，我們試圖最小化數據中的誤差找到能夠描述數據的函數，這種情況下，我們通常使用均值方差。使用平方數是為了不讓正值和負值互相抵消。然后我們可以使用閉合表達式來求出回歸系數。

如果我們將損失函數計為均值方差，并基于統計學習理論進行最小化實證風險，碰巧就能得到傳統線性回歸分析同樣的結果。

這個巧合是因為兩個情況是相同的，對同樣的數據以相同的方式求解***概率自然會得出相同的結果。***化概率有不同的方法來實現同樣的目標，但沒人會去爭論說***化概率與線性回歸是一個東西。這個最簡單的例子顯然沒能區分開這些方法。

這里要指出的第二點在于，傳統的統計方法中沒有訓練集和測試集的概念，但我們會使用不同的指標來幫助驗證模型。驗證過程雖然不同，但兩種方法都能夠給我們統計穩健的結果。

另外要指出的一點在于，傳統統計方法給了我們一個閉合形式下的***解，它沒有對其它可能的函數進行測試來收斂出一個結果。相對的，機器學習方法嘗試了一批不同的模型，***結合回歸算法的結果，收斂出一個最終的假設。

如果我們用一個不同的損失函數，結果可能并不收斂。例如，如果我們用了鉸鏈損失(使用標準梯度下降時不太好區分，因此需要使用類似近梯度下降等其它方法)，那么結果就不會相同了。

***可以對模型偏差進行區分。你可以用機器學習算法來測試線性模型以及多項式模型，指數模型等，來檢驗這些假設是否相對我們的先驗損失函數對數據集給出更好的擬合度。在傳統統計學概念中，我們選擇一個模型，評估其準確性，但無法自動從100個不同的模型中摘出***的那個。顯然，由于最開始選擇的算法不同，找出的模型總會存在一些偏誤。選擇算法是非常必要的，因為為數據集找出***的方程是一個NP-hard問題。

那么哪個方法更優呢?

這個問題其實很蠢。沒有統計學，機器學習根本沒法存在，但由于當代信息爆炸人類能接觸到的大量數據，機器學習是非常有用的。

對比機器學習和統計模型還要更難一些，你需要視乎你的目標而定究竟選擇哪種。如果你只是想要創建一個高度準確的預測房價的算法，或者從數據中找出哪類人更容易得某種疾病，機器學習可能是更好的選擇。如果你希望找出變量之間的關系或從數據中得出推論，選擇統計模型會更好。