今天，我?guī)ьI(lǐng)大家來了解一下數(shù)據(jù)挖掘。

首先，我們先來了解一下數(shù)據(jù)挖掘的定義。

數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。

我們再來看一下數(shù)據(jù)挖掘的詳細(xì)解釋。

所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決策支持過程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動化地分析企業(yè)的數(shù)據(jù)，作出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場策略，減少風(fēng)險(xiǎn)，作出正確的決策。

接下來，我們來大致學(xué)習(xí)一下數(shù)據(jù)挖掘的基本步驟。數(shù)據(jù)挖掘是通過分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個(gè)步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集;規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來;規(guī)律表示是盡可能以用戶可理解的方式(如可視化)將找出的規(guī)律表示出來。數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。

數(shù)據(jù)挖掘過程模型步驟主要包括定義問題、建立數(shù)據(jù)挖掘庫、分析數(shù)據(jù)、準(zhǔn)備數(shù)據(jù)、建立模型、評價(jià)模型和實(shí)施。

下面讓我們來具體看一下每個(gè)步驟的具體內(nèi)容：

定義問題。在開始知識發(fā)現(xiàn)之前最先的也是最重要的要求就是了解數(shù)據(jù)和業(yè)務(wù)問題。必須要對目標(biāo)有一個(gè)清晰明確的定義，即決定到底想干什么。比如，想提高電子信箱的利用率時(shí)，想做的可能是“提高用戶使用率”，也可能是“提高一次用戶使用的價(jià)值”，要解決這兩個(gè)問題而建立的模型幾乎是完全不同的，必須做出決定。

建立數(shù)據(jù)挖掘庫。建立數(shù)據(jù)挖掘庫包括以下幾個(gè)步驟：數(shù)據(jù)收集，數(shù)據(jù)描述，選擇，數(shù)據(jù)質(zhì)量評估和數(shù)據(jù)清理，合并與整合，構(gòu)建元數(shù)據(jù)，加載數(shù)據(jù)挖掘庫，維護(hù)數(shù)據(jù)挖掘庫。

分析數(shù)據(jù)。分析的目的是找到對預(yù)測輸出影響最大的數(shù)據(jù)字段，和決定是否需要定義導(dǎo)出字段。如果數(shù)據(jù)集包含成百上千的字段，那么瀏覽分析這些數(shù)據(jù)將是一件非常耗時(shí)和累人的事情，這時(shí)需要選擇一個(gè)具有好的界面和功能強(qiáng)大的工具軟件來協(xié)助你完成這些事情。

準(zhǔn)備數(shù)據(jù)。這是建立模型之前的最后一步數(shù)據(jù)準(zhǔn)備工作。可以把此步驟分為四個(gè)部分：選擇變量，選擇記錄，創(chuàng)建新變量，轉(zhuǎn)換變量。

建立模型。建立模型是一個(gè)反復(fù)的過程。需要仔細(xì)考察不同的模型以判斷哪個(gè)模型對面對的商業(yè)問題最有用。先用一部分?jǐn)?shù)據(jù)建立模型，然后再用剩下的數(shù)據(jù)來測試和驗(yàn)證這個(gè)得到的模型。有時(shí)還有第三個(gè)數(shù)據(jù)集，稱為驗(yàn)證集，因?yàn)闇y試集可能受模型的特性的影響，這時(shí)需要一個(gè)獨(dú)立的數(shù)據(jù)集來驗(yàn)證模型的準(zhǔn)確性。訓(xùn)練和測試數(shù)據(jù)挖掘模型需要把數(shù)據(jù)至少分成兩個(gè)部分，一個(gè)用于模型訓(xùn)練，另一個(gè)用于模型測試。

評價(jià)模型。模型建立好之后，必須評價(jià)得到的結(jié)果、解釋模型的價(jià)值。從測試集中得到的準(zhǔn)確率只對用于建立模型的數(shù)據(jù)有意義。在實(shí)際應(yīng)用中，需要進(jìn)一步了解錯(cuò)誤的類型和由此帶來的相關(guān)費(fèi)用的多少。經(jīng)驗(yàn)證明，有效的模型并不一定是正確的模型。造成這一點(diǎn)的直接原因就是模型建立中隱含的各種假定，因此，直接在現(xiàn)實(shí)世界中測試模型很重要。先在小范圍內(nèi)應(yīng)用，取得測試數(shù)據(jù)，覺得滿意之后再向大范圍推廣實(shí)施。模型建立并經(jīng)驗(yàn)證之后，可以有兩種主要的使用方法。第一種是提供給分析人員做參考;另一種是把此模型應(yīng)用到不同的數(shù)據(jù)集上。

之后，我們來了解下數(shù)據(jù)挖掘的五個(gè)基本特點(diǎn)。

基于大量數(shù)據(jù)：并非說小數(shù)據(jù)量上就不可以進(jìn)行挖掘，實(shí)際上大多數(shù)數(shù)據(jù)挖掘的算法都可以在小數(shù)據(jù)量上運(yùn)行并得到結(jié)果。但是，一方面過小的數(shù)據(jù)量完全可以通過人工分析來總結(jié)規(guī)律，另一方面來說，小數(shù)據(jù)量常常無法反映出真實(shí)世界中的普遍特性。

非平凡性：所謂非平凡，指的是挖掘出來的知識應(yīng)該是不簡單的，絕不能是類似某著名體育評論員所說的“經(jīng)過我的計(jì)算，我發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象，到本場比賽結(jié)束 為止，這屆世界杯的進(jìn)球數(shù)和失球數(shù)是一樣的。非常的巧合!”那種知識。這點(diǎn)看起來勿庸贅言，但是很多不懂業(yè)務(wù)知識的數(shù)據(jù)挖掘新手卻常常犯這種錯(cuò)誤。

隱含性：數(shù)據(jù)挖掘是要發(fā)現(xiàn)深藏在數(shù)據(jù)內(nèi)部的知識，而不是那些直接浮現(xiàn)在數(shù)據(jù)表面的信息。常用的BI工具，例如報(bào)表和OLAP，完全可以讓用戶找出這些信息。

新奇性：挖掘出來的知識應(yīng)該是以前未知的，否則只不過是驗(yàn)證了業(yè)務(wù)專家的經(jīng)驗(yàn)而已。只有全新的知識，才可以幫助企業(yè)獲得進(jìn)一步的洞察力。

價(jià)值性：挖掘的結(jié)果必須能給企業(yè)帶來直接的或間接的效益。有人說數(shù)據(jù)挖掘只是“屠龍之技”，看起來神乎其神，卻什么用處也沒有。這只是一種誤解，不可否認(rèn)的 是在一些數(shù)據(jù)挖掘項(xiàng)目中，或者因?yàn)槿狈γ鞔_的業(yè)務(wù)目標(biāo)，或者因?yàn)閿?shù)據(jù)質(zhì)量的不足，或者因?yàn)槿藗儗Ω淖儤I(yè)務(wù)流程的抵制，或者因?yàn)橥诰蛉藛T的經(jīng)驗(yàn)不足，都會導(dǎo) 致效果不佳甚至完全沒有效果。但大量的成功案例也在證明，數(shù)據(jù)挖掘的確可以變成提升效益的利器。

以上就是我給大家介紹的關(guān)于數(shù)據(jù)挖掘的一些基本內(nèi)容，這些只是關(guān)于數(shù)據(jù)挖掘的一些皮毛知識，如果對數(shù)據(jù)挖掘有興趣的可以查閱相關(guān)資料和文獻(xiàn)再進(jìn)行更深層次的了解。