不知道大家有沒有這樣的感覺：在我們學(xué)習(xí)的時候，經(jīng)常學(xué)了就忘，忘了再學(xué)，彷佛進(jìn)入了死循環(huán)。明明都學(xué)了，結(jié)果就是記不住。有時候都想往自己的腦袋里植入一個儲存器，想學(xué)什么就往腦子里復(fù)制，這樣多好。

機(jī)器學(xué)習(xí)就是這樣一個例子。很多時候，我們在學(xué)習(xí)過程中迷失了方向，從而失去了繼續(xù)學(xué)習(xí)的動力。許多概念需要系統(tǒng)化。但是今天，我想為大家介紹機(jī)器學(xué)習(xí)的所有概念，這些概念將有助于你更快地了解這個領(lǐng)域。這篇文章將適合那些剛剛?cè)腴T并且已經(jīng)在實(shí)踐中開始使用機(jī)器學(xué)習(xí)的人。

概述：

1. 動機(jī)
2. 分類
3. 問題類型
4. 類
5. 性能分析
6. 算法
7. 調(diào)試

廢話不多說，讓我們直接開始吧!

機(jī)器學(xué)習(xí)概念

這些概念中的每一個都會引出其他更小的衍生概念。在這里，我會為每一個術(shù)語給出最短和最簡單的定義：

1、動機(jī)

動機(jī)對于機(jī)器學(xué)習(xí)來說很重要，因?yàn)樗纬闪四Ｐ团c數(shù)據(jù)進(jìn)行比較的過程。機(jī)器學(xué)習(xí)的動機(jī)有兩種方法：

• 預(yù)測。非線性模型認(rèn)為，海帶的預(yù)測變量可以作為判別結(jié)果的輸入，但不是每種方式的輸入都會影響預(yù)測。例如，以預(yù)測為導(dǎo)向的觀點(diǎn)最適合回答這樣一個問題：我的車是被高估還是低估了?如果對此應(yīng)用推論，模型的可解釋性將大大降低。
• 推斷。線性模型來區(qū)分影響預(yù)測的每個輸入的方式。例如，它會給你一個精確的答案：如果我的車能在沒有車頂?shù)那闆r下行駛，它會花多少錢?通過比較模型的預(yù)測結(jié)果，推斷比非線性預(yù)測更容易理解。

2、分類

與其他方法一樣，訓(xùn)練機(jī)器學(xué)習(xí)算法的方法也各不相同，而且各有優(yōu)缺點(diǎn)：

• 監(jiān)督學(xué)習(xí)。任務(wù)驅(qū)動型方法，在這個過程中，計(jì)算機(jī)由“老師”提供示例輸入及其期望的輸出，目標(biāo)是學(xué)習(xí)將輸入映射到輸出的一般規(guī)則。
• 無監(jiān)督學(xué)習(xí)。數(shù)據(jù)驅(qū)動型方法，目標(biāo)是通過對數(shù)據(jù)中的底層結(jié)構(gòu)或分布進(jìn)行建模來了解更多有關(guān)數(shù)據(jù)的信息。它可以是兩種類型：發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式，也可以是達(dá)到目的的方法(特征學(xué)習(xí))。
• 強(qiáng)化學(xué)習(xí)。此類別基于從錯誤中學(xué)習(xí)，該錯誤使用獎勵和懲罰系統(tǒng)訓(xùn)練算法。

3、問題類型

如果要深入研究機(jī)器學(xué)習(xí)類別，還有五種其他類型的問題：

• 回歸。我們需要預(yù)測連續(xù)響應(yīng)值的監(jiān)督問題。回歸擬合數(shù)據(jù)并給出映射的所有特征點(diǎn)的答案，如果預(yù)測值趨向于一個連續(xù)的值，那么它就會下降。例如：給出區(qū)域名稱、土地面積等作為特征，并預(yù)測土地的預(yù)期成本。
• 分類。監(jiān)督問題，其主要目的是分離數(shù)據(jù)。如果預(yù)測值趨向于是/否、正/負(fù)等類別，那么它就屬于機(jī)器學(xué)習(xí)中的分類問題。例如，給定一個句子來預(yù)測它是否定的還是正面的。
• 集群。無監(jiān)督問題，我們將相似的事物組合到一個給定數(shù)量的簇中。對于這些分?jǐn)?shù)，我們不會給出答案。示例：給定3、4、8、9，并且簇的數(shù)目為2，那么機(jī)器學(xué)習(xí)系統(tǒng)可以將給定的集合分成簇1–3,4和簇2–8,9。
• 密度估計(jì)。它是在觀測數(shù)據(jù)的基礎(chǔ)上，對一個不可觀測的潛在概率密度函數(shù)的估計(jì)。查找輸入在某個空間中的分布。
• 降維。通過將輸入映射到低維空間來簡化輸入。

4、類

機(jī)器學(xué)習(xí)算法可分為參數(shù)或非參數(shù)：

• 參數(shù)化-有固定數(shù)量的參數(shù)，分兩步完成：

第一步：假設(shè)我們的函數(shù)(f)的函數(shù)形式或形狀，即：f是線性的，因此我們將選擇一個線性模型。

第二步：選擇一個程序來適應(yīng)或訓(xùn)練我們的模型。這意味著估計(jì)線性函數(shù)中的β參數(shù)。一種常見的方法是(普通)最小二乘法。

• 非參數(shù)化-使用靈活數(shù)量的參數(shù)，參數(shù)的數(shù)量通常隨著它從更多數(shù)據(jù)中學(xué)習(xí)而增長。由于這些方法并不能將f的估計(jì)問題簡化為少量的參數(shù)，因此需要大量的觀測數(shù)據(jù)來獲得f的精確估計(jì)。例如薄板樣條模型。

5、性能分析

算法的性能分析是計(jì)算該算法所需的空間和時間的過程。算法的性能分析采用以下措施：

• 混淆矩陣-通常用于描述分類模型(或“分類器”)在已知真實(shí)值的一組測試數(shù)據(jù)上的性能的表。
• 準(zhǔn)確度。正確預(yù)測的一部分，當(dāng)數(shù)據(jù)集不平衡時(即不同類別中的樣本數(shù)量變化很大)不可靠
• f1分?jǐn)?shù)-測試準(zhǔn)確性的另一個衡量標(biāo)準(zhǔn)，其計(jì)算依據(jù)是：1)精度-在分類器標(biāo)記為陽性的所有示例中，哪個分?jǐn)?shù)是正確的?2) 回憶一下。在所有的正面例子中，分類器提取了什么分?jǐn)?shù)?
• ROC曲線-接收器工作特性。真陽性率(回憶/敏感性)vs假陽性率(1-特異性)
• 偏差-方差權(quán)衡-一組預(yù)測模型的特性，其中參數(shù)估計(jì)偏差較低的模型在樣本間的參數(shù)估計(jì)方差較高，反之亦然。
• 均方誤差(MSE)-測量誤差或偏差平方的平均值-即估計(jì)值與估計(jì)值之間的差值。
• 錯誤率。在分類環(huán)境下，應(yīng)用估計(jì)模型的錯誤率函數(shù)是訓(xùn)練觀測值的函數(shù)。

6、算法

機(jī)器學(xué)習(xí)真正有趣的部分來了!以下內(nèi)容能夠幫助你如何將機(jī)器學(xué)習(xí)付諸實(shí)踐：

• 決策樹學(xué)習(xí)-通過一種算法方法來構(gòu)建，該方法根據(jù)不同的條件識別數(shù)據(jù)集的分割方法。
• 關(guān)聯(lián)規(guī)則學(xué)習(xí)-一種基于規(guī)則的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)，可以發(fā)現(xiàn)數(shù)據(jù)集中變量或特征之間的重要關(guān)系。
• 人工神經(jīng)網(wǎng)絡(luò)-一種信息處理模型，其靈感來源于生物神經(jīng)系統(tǒng)，如大腦，處理信息的方式。
• 深度學(xué)習(xí)-網(wǎng)絡(luò)能夠在無監(jiān)督的情況下從非結(jié)構(gòu)化或未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)。它教計(jì)算機(jī)通過層過濾輸入，學(xué)習(xí)如何預(yù)測和分類信息。
• 歸納邏輯編程-使用邏輯編程作為統(tǒng)一的表示，例如，背景知識和假設(shè)。
• 支持向量機(jī)-分析用于分類和回歸分析的數(shù)據(jù)。
• 聚類-將一組對象分組的任務(wù)，使同一組(稱為群集)中的對象彼此之間(在某種意義上)比其他組(簇)中的對象更相似(在某種意義上)。
• 貝葉斯網(wǎng)絡(luò)-通過有向無環(huán)圖表示一組變量及其條件依賴關(guān)系的概率圖形模型。
• 強(qiáng)化學(xué)習(xí)-通過與環(huán)境互動來學(xué)習(xí)。
• 特征學(xué)習(xí)-允許從原始數(shù)據(jù)中發(fā)現(xiàn)特征檢測或分類所需的表示。
• 相似性和度量學(xué)習(xí)-學(xué)習(xí)度量兩個對象的相似性函數(shù)。
• 稀疏字典學(xué)習(xí)-旨在尋找輸入數(shù)據(jù)的稀疏表示形式的基本元素的線性組合。
• 遺傳算法-一個受自然選擇過程啟發(fā)的元啟發(fā)式算法。
• 基于規(guī)則的機(jī)器學(xué)習(xí)-一種數(shù)據(jù)驅(qū)動的方法，使用標(biāo)記的文本語料庫和他們的情感來預(yù)測。
• 學(xué)習(xí)分類器系統(tǒng)-結(jié)合發(fā)現(xiàn)組件和學(xué)習(xí)組件。

7、調(diào)試

調(diào)試是為學(xué)習(xí)算法選擇一組最佳超參數(shù)的問題。這是它的組成部分：

交叉驗(yàn)證—一種用于評估統(tǒng)計(jì)分析結(jié)果如何概括為獨(dú)立數(shù)據(jù)集的技術(shù)。一輪交叉驗(yàn)證涉及將數(shù)據(jù)樣本劃分為互補(bǔ)的子集，對一個子集(稱為訓(xùn)練集)執(zhí)行分析，并對另一個子集(稱為驗(yàn)證集或測試集)進(jìn)行分析驗(yàn)證。

方法：Leave-p-out交叉驗(yàn)證，Leave-one-out交叉驗(yàn)證，k倍交叉驗(yàn)證，Holdout方法和重復(fù)隨機(jī)采樣驗(yàn)證。

超參數(shù)-一個參數(shù)，其值用于控制學(xué)習(xí)過程。相反，其他參數(shù)的值(通常是節(jié)點(diǎn)權(quán)重)是通過訓(xùn)練得出的。可以使用以下方法對其進(jìn)行優(yōu)化：

1)網(wǎng)格搜索。傳統(tǒng)方式只是簡單地窮舉搜索學(xué)習(xí)算法的超參數(shù)空間的手動指定子集。

2)隨機(jī)搜索。它只是簡單地對參數(shù)設(shè)置進(jìn)行采樣，發(fā)現(xiàn)在高維空間中，進(jìn)行固定次數(shù)要比窮舉搜索更為有效。

3)基于梯度的優(yōu)化。對于特定的學(xué)習(xí)算法，可以計(jì)算相對于超參數(shù)的梯度，然后使用梯度下降優(yōu)化超參數(shù)。

正則化(提前停止)-提前停止規(guī)則可指導(dǎo)學(xué)習(xí)者開始過度擬合之前可以運(yùn)行多少次迭代，然后停止算法。

過度擬合。當(dāng)模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的細(xì)節(jié)和噪聲時，會在一定程度上影響新數(shù)據(jù)上模型的性能，因此會發(fā)生這種情況。

欠擬合(Underfitting)。模型從訓(xùn)練數(shù)據(jù)中“學(xué)習(xí)不足”的情況下，導(dǎo)致泛化率低和預(yù)測不可靠。

引導(dǎo)。它是使用替換隨機(jī)抽樣并屬于更廣泛的重采樣方法的任何測試或度量。自舉法將準(zhǔn)確性的度量(偏差，方差，置信區(qū)間，預(yù)測誤差等)分配給樣本估計(jì)。

套袋(bagging)。它是一種集成的機(jī)器學(xué)習(xí)算法，結(jié)合了許多決策樹的預(yù)測。

總結(jié)

以上內(nèi)容基本上包含了機(jī)器學(xué)習(xí)的全部知識點(diǎn)，溫故而知新，學(xué)過的東西如果不回過來看一下，說不定哪天就徹底忘記了。希望以上內(nèi)容能給大家提供幫助~