一文帶你了解什么是數(shù)據(jù)挖掘

作者：移動Labs原創(chuàng) 2019-07-04 15:16:52

大數(shù)據(jù)時代已經(jīng)來臨，利用網(wǎng)絡(luò)和生活中產(chǎn)生的大量數(shù)據(jù)發(fā)現(xiàn)問題并創(chuàng)造價(jià)值，使得數(shù)據(jù)挖掘成了一門新的學(xué)科和技術(shù)。那么什么是大數(shù)據(jù)挖掘，數(shù)據(jù)挖掘的過程是什么，以及它的具體算法又有哪些?今天這篇文章，將帶你一起了解數(shù)據(jù)挖掘的那些事兒。

01、首先，數(shù)據(jù)挖掘到底是什么?

官方的定義，數(shù)據(jù)挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

通俗易懂的說，數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中，發(fā)現(xiàn)那些我們想要的“東西”。

02 這個“東西”具體指什么?

一種被稱為預(yù)測任務(wù)。

也就是說給了一定的目標(biāo)屬性，讓去預(yù)測目標(biāo)的另外一特定屬性。如果該屬性是離散的，通常稱之為‘分類’，而如果目標(biāo)屬性是一個連續(xù)的值，則稱之為‘回歸’。

另一種被稱為描述任務(wù)。

這是指找出數(shù)據(jù)間潛在的聯(lián)系模式。比方說兩個數(shù)據(jù)存在強(qiáng)關(guān)聯(lián)的關(guān)系，像大數(shù)據(jù)分析發(fā)現(xiàn)的一個特點(diǎn)：買尿布的男性通常也會買點(diǎn)啤酒，那么商家根據(jù)這個可以將這兩種商品打包出售來提高業(yè)績。另外一個非常重要的就是聚類分析，這也是在日常數(shù)據(jù)挖掘中應(yīng)用非常非常頻繁的一種分析，旨在發(fā)現(xiàn)緊密相關(guān)的觀測值組群，可以在沒有標(biāo)簽的情況下將所有的數(shù)據(jù)分為合適的幾類來進(jìn)行分析或者降維。

其他的描述任務(wù)還有異常檢測，其過程類似于聚類的反過程，聚類將相似的數(shù)據(jù)聚合在一起，而異常檢測將離群太遠(yuǎn)的點(diǎn)給剔除出來。

03 數(shù)據(jù)挖掘的一般過程包括以下幾個方面：

數(shù)據(jù)預(yù)處理
數(shù)據(jù)挖掘
后處理

首先來說說數(shù)據(jù)預(yù)處理。之所以有這樣一個步驟，是因?yàn)橥ǔ５臄?shù)據(jù)挖掘需要涉及相對較大的數(shù)據(jù)量，這些數(shù)據(jù)可能來源不一導(dǎo)致格式不同，可能有的數(shù)據(jù)還存在一些缺失值或者無效值，如果不經(jīng)處理直接將這些‘臟’數(shù)據(jù)放到模型中去跑，非常容易導(dǎo)致模型計(jì)算的失敗或者可用性很差，所以數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘過程中都不可或缺的一步。

至于數(shù)據(jù)挖掘和后處理相對來說就容易理解多了。完成了數(shù)據(jù)的預(yù)處理，我們通常進(jìn)行特征構(gòu)造，然后放到特定的模型中去計(jì)算，利用某種標(biāo)準(zhǔn)去評判不同模型或組合模型的表現(xiàn)，最后確定一個最合適的模型用于后處理。后處理的過程相當(dāng)于已經(jīng)發(fā)現(xiàn)了那個我們想要找到的結(jié)果，然后去應(yīng)用它或者用合適的方式將其表示出來。

這里涉及到數(shù)據(jù)挖掘的一系列算法，主要分為分類算法，聚類算法和關(guān)聯(lián)規(guī)則三大類，這三類基本上涵蓋了目前商業(yè)市場對算法的所有需求。而這三類里，最為經(jīng)典的則是下面這十大算法。

1、分類決策樹算法C4.5

C4.5，是機(jī)器學(xué)習(xí)算法中的一種分類決策樹算法，它是決策樹(決策樹，就是做決策的節(jié)點(diǎn)間的組織方式像一棵倒栽樹)核心算法ID3的改進(jìn)算法。

2、K平均算法

K平均算法(k-means algorithm)是一個聚類算法，把n個分類對象根據(jù)它們的屬性分為k類(k

3、支持向量機(jī)算法

支持向量機(jī)(Support Vector Machine)算法，簡記為SVM，是一種監(jiān)督式學(xué)習(xí)的方法，廣泛用于統(tǒng)計(jì)分類以及回歸分析中。

4、The Apriori algorithm

Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法，其核心是基于兩階段“頻繁項(xiàng)集”思想的遞推算法。其涉及到的關(guān)聯(lián)規(guī)則在分類上屬于單維、單層、布爾關(guān)聯(lián)規(guī)則。

5、最大期望(EM)算法

最大期望(EM，Expectation–Maximization)算法是在概率模型中尋找參數(shù)最大似然估計(jì)的算法，其中概率模型依賴于無法觀測的隱藏變量。最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的數(shù)據(jù)集聚領(lǐng)域。

6、Page Rank算法

Page Rank根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量，衡量網(wǎng)站的價(jià)值。

7、Ada Boost 迭代算法

Ada boost是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器(強(qiáng)分類器)。

8、kNN 最近鄰分類算法

K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。

9、Naive Bayes 樸素貝葉斯算法

Naive Bayes 算法通過某對象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，并選擇具有最大后驗(yàn)概率的類作為該對象所屬的類。樸素貝葉斯模型所需估計(jì)的參數(shù)很少，對缺失數(shù)據(jù)不太敏感，其算法也比較簡單。

10、CART: 分類與回歸樹算法。

分類與回歸樹算法(CART，Classification and Regression Trees)是分類數(shù)據(jù)挖掘算法的一種，有兩個關(guān)鍵的思想：第一個是關(guān)于遞歸地劃分自變量空間的想法;第二個想法是用驗(yàn)證數(shù)據(jù)進(jìn)行剪枝。

結(jié)語：

一入數(shù)據(jù)挖掘深似海，從此奮斗到天明。光是這十大算法，就夠你啃上好一段時間了......