介紹

在我們的以前文章中介紹過統計學習中預測和推理之間的區別。盡管這兩種方法的主要區別在于最終目標，但我們都需要估計一個未知函數f。

[[427125]]

換句話說，我們需要學習一個將輸入(即自變量X的集合)映射到輸出(即目標變量Y)的函數，如下圖所示。

Y = f(X) + ε

為了估計未知函數，我們需要在數據上擬合一個模型。我們試圖估計的函數的形式通常是未知的，因此我們可能不得不應用不同的模型來得到它，或者對函數f的形式做出一些假設。一般來說，這個過程可以是參數化的，也可以是非參數化的。

在今天的文章中，我們將討論機器學習背景下的參數和非參數方法。此外，我們將探討它們的主要差異以及它們的主要優點和缺點。

參數化方法

在參數化方法中，我們通常對函數f的形式做一個假設。例如，你可以假設未知函數f是線性的。換句話說，我們假設函數是這樣的。

f(X) = β₀ + β₁ X₁ + … + βₚ Xₚ

其中f(X)為待估計的未知函數，β為待學習的系數，p為自變量個數，X為相應的輸入。

既然我們已經對要估計的函數的形式做出了假設，并選擇了符合這個假設的模型，那么我們需要一個學習過程，這個學習過程最終將幫助我們訓練模型并估計系數。

機器學習中的參數化方法通常采用基于模型的方法，我們對要估計的函數的形式做出假設，然后根據這個假設選擇合適的模型來估計參數集。

參數化方法最大的缺點是，我們所做的假設可能并不總是正確的。例如，你可以假設函數的形式是線性的，但實際上它并不是。因此這些方法涉及較不靈活的算法，通常用于解決一些不復雜的問題。

參數化方法速度非常快，而且它們需要的數據也少得多(更多相關內容將在下一節中介紹)。此外，由于參數化方法雖然不太靈活但是因為基于我們做出的假設，所以它們更容易解釋。

機器學習中的參數化方法包括線性判別分析、樸素貝葉斯和感知器。

非參數方法

一般來說非參數方法指的是對于要估計的函數的形式不做任何潛在的假設的一組算法。由于沒有做任何假設，這種方法可以估計未知函數f的任何形式。

非參數方法往往更精確，因為它們尋求最佳擬合數據點。但是這是以需要進行大量的觀測為代價的(這些觀測是精確估計未知函數f所必需的)。并且這些方法在訓練模型時往往效率較低。另外的一個問題是，非參數方法有時可能會引入過擬合，因為由于這些算法更靈活，它們有時可能會以無法很好地泛化到新的、看不見的數據點的方式學習錯誤和噪聲。

非參數方法非常靈活，因為沒有對底層函數做出任何假設，所以可以帶來更好的模型性能。

機器學習中一些非參數方法的例子包括支持向量機和kNN。

總結

在今天的文章中，我們討論了機器學習背景下的參數化和非參數化方法以及它們的優點和缺點。

參數方法往往不太靈活和準確，但更具可解釋性，而非參數方法往往更靈活(因此適用于更復雜的問題)和準確但可解釋性較差。

盡管參數方法不太靈活并且有時不太準確，但它們在許多用例中仍然有用，因為在更簡單的問題中使用非常靈活的非參數方法可能會導致過度擬合。