小白學(xué)數(shù)據(jù)分析之Clementine的源節(jié)點(diǎn)學(xué)習(xí)

作者：data->intelligence 2012-06-28 09:53:11

Clementine是一個(gè)數(shù)據(jù)挖掘工具，但是在數(shù)據(jù)處理等方面的功能很強(qiáng)大，在幾十萬到幾百萬甚至幾千萬數(shù)據(jù)處理上，都能夠應(yīng)付。

Clementine是一個(gè)很有用的工具，在網(wǎng)游日常數(shù)據(jù)的處理中，其應(yīng)用程度不低于Excel和SPSS，盡管Clementine是一個(gè)數(shù)據(jù)挖掘工具，但是在數(shù)據(jù)處理等方面的功能很強(qiáng)大，在幾十萬到幾百萬甚至幾千萬數(shù)據(jù)處理上，都能夠應(yīng)付，而Excel僅僅處理在一百萬左右的數(shù)據(jù)。使用Clementine有一段時(shí)間了，就從基本的開始說起吧，先說說源節(jié)點(diǎn)是什么？

每一個(gè)數(shù)據(jù)處理工具，都需要支持很多種數(shù)據(jù)格式，由于我們數(shù)據(jù)存儲形式，或者存儲軟件的因素造成了我們有時(shí)候數(shù)據(jù)的格式會有很多種，為此作為一個(gè)好的數(shù)據(jù)分析軟件，首要的就是要支持很多的數(shù)據(jù)格式，這樣避免的大數(shù)據(jù)轉(zhuǎn)換格式耗費(fèi)的時(shí)間和成本。

在Clementine中就有源節(jié)點(diǎn)來完成這個(gè)工作，源節(jié)點(diǎn)顧名思義，就是數(shù)據(jù)來源的節(jié)點(diǎn)。對應(yīng)在Clementine中有一個(gè)源選項(xiàng)版來完成這個(gè)工作，如下所示：

企業(yè)視圖有關(guān)信息這里不解釋，目前暫無應(yīng)用。

數(shù)據(jù)庫源節(jié)點(diǎn)

Cle中使用ODBC將數(shù)據(jù)導(dǎo)入，支持Oracle、SQLServer、DB2、MySQL等。但是這種方式導(dǎo)入數(shù)據(jù)，就必須首先配置ODBC數(shù)據(jù)源，有關(guān)如何配置該數(shù)據(jù)源，這里不再累述。可以自行參考網(wǎng)上的很多教程。Cle對于數(shù)據(jù)庫的支持有三層：

1）所有可能的 SQL 回送都可用，并具有數(shù)據(jù)庫特定的 SQL 優(yōu)化

2）多數(shù) SQL 回送可用，具有非數(shù)據(jù)庫特定的 SQL 優(yōu)化

3）沒有 SQL 回送或優(yōu)化，只能向數(shù)據(jù)庫讀取和寫入數(shù)據(jù)

使用下列一般步驟訪問數(shù)據(jù)庫中的數(shù)據(jù)：

為要使用的數(shù)據(jù)庫安裝 ODBC 驅(qū)動(dòng)程序并配置數(shù)據(jù)源；

在數(shù)據(jù)庫節(jié)點(diǎn)對話框中，使用表模式或 SQL 查詢模式連接到數(shù)據(jù)庫；

從數(shù)據(jù)庫中選擇表；

使用數(shù)據(jù)庫節(jié)點(diǎn)對話框中的選項(xiàng)卡，可以更改使用類型和過濾數(shù)據(jù)字段；

現(xiàn)在我們已經(jīng)完成了ODBC安裝和配置數(shù)據(jù)源的工作。下面我們要在Cle中連接數(shù)據(jù)庫，進(jìn)行查詢訪問，雙擊數(shù)據(jù)庫圖標(biāo)，進(jìn)入數(shù)據(jù)流工作區(qū)域，右鍵單擊編輯，彈出如下的對話框：

上圖為數(shù)據(jù)選項(xiàng)卡的選項(xiàng)，用于獲取數(shù)據(jù)庫訪問和選定我們要進(jìn)行操作的表。

模式

可以通過對話框連接到指定的表上，也可以通過SQL查詢查詢使用的數(shù)據(jù)庫。

數(shù)據(jù)源

此處指定我們需要的數(shù)據(jù)源，可以手動(dòng)填寫，也可以通過下拉菜單進(jìn)行添加，此處我們銅鼓下拉菜單添加，如下圖：

在彈出的對話框中，我們選擇test數(shù)據(jù)源。

數(shù)據(jù)源

列出目前我們可用的數(shù)據(jù)源，如果是剛剛添加的，單擊刷新，選擇數(shù)據(jù)源，輸入用戶名和密碼就OK了。

表名

通過選擇按鈕選擇我們進(jìn)行操作的表，如下圖所示：

給表名和列名加上引號

在數(shù)據(jù)庫中進(jìn)行查詢時(shí)，指定是否要將表名和列名括入引號內(nèi)（例如，這些名稱是否可包含空格或標(biāo)點(diǎn)）

去除開頭和結(jié)尾的空格

選中選項(xiàng)以丟棄字符串中開頭和結(jié)尾的空格。

可變文件節(jié)點(diǎn)

相當(dāng)于Excel分列操作使用分隔符的模式

可以使用可變文件節(jié)點(diǎn)從自由字段文本文件（其記錄包含的字段數(shù)不變，但包含的字符數(shù)可改變）中讀取數(shù)據(jù)，該文件又稱為分隔文本文件。此類型的節(jié)點(diǎn)也可用于具有固定長度的頁眉文本和特定類型的注解的文件。每次讀取一條記錄，并將這些記錄傳遞到流中，直到讀完整個(gè)文件。

讀取定界文本數(shù)據(jù)時(shí)的注意事項(xiàng)

必須在每行末尾處用換行符分隔記錄；

必須使用逗號或其他字符（最好是僅用作分隔符，即該字符不能出現(xiàn)在字段名稱或字段值中）分隔字段；

每一行（包括標(biāo)題行）都應(yīng)包含相同的字段數(shù)；

第一行應(yīng)包含字段名稱；

第二行必須包含數(shù)據(jù)的第一條記錄；

數(shù)字值不能包括千位分隔符或分組符號，—例如，3,000.00 中不能使用逗號；

日期值和時(shí)間值應(yīng)該采用“流選項(xiàng)”對話框中可識別的的格式之一，例如DD/MM/YYYY 或HH:MM:SS。

我們導(dǎo)入一個(gè)文件，單擊可變文件，右鍵編輯，彈出如下的對話框：

讀取文件中的字段名

默認(rèn)是選中的，此時(shí)把文件的第一行看作是列表前，即變量名。每個(gè)字段也能被分配一個(gè)名字，當(dāng)然了，如果我們第一行沒有列標(biāo)簽時(shí)，就可以取消選中。

指定字段數(shù)

指定每個(gè)記錄中的字段數(shù)。只要記錄以新行結(jié)束，就可以自動(dòng)檢測字段數(shù)。也可以手動(dòng)設(shè)置字段數(shù)。

跳過標(biāo)題字符

指定要忽略第一個(gè)記錄的開頭處的多少個(gè)字符。

EOL 注解字符

指定字符（例如 # 或 !）以表示數(shù)據(jù)中的注解。無論這些字符之一出現(xiàn)在數(shù)據(jù)文件的何處，從該字符起直到下一個(gè)新行字符（不包括）之前的所有字符都將被忽略。

去除開頭和結(jié)尾

丟棄導(dǎo)入字符串中開頭和結(jié)尾的空格。

無效字符

空字符或者指定編碼中不存在的的字符，通過丟棄進(jìn)而刪除了，或者替換成其他字符。

小數(shù)符號

選擇在數(shù)據(jù)源中使用的小數(shù)分隔符類型。

定界符

選擇將將數(shù)據(jù)進(jìn)行分列的符號，也可以自己指定符號，此處是復(fù)選，也就是說可以使一個(gè)以上的分列手段，這點(diǎn)和Excel的分列大同小異。

類型的掃描行數(shù)

對于指定的數(shù)據(jù)類型要掃描的行數(shù)

引號

如何處理導(dǎo)入數(shù)據(jù)的單引號和雙引號問題

在此對話框中操作任何時(shí)刻，都可單擊刷新以從數(shù)據(jù)源重新載入字段。在更改到源節(jié)點(diǎn)的數(shù)據(jù)連接時(shí)，或在對話框的選項(xiàng)卡之間進(jìn)行操作時(shí)，此操作都非常有用。

固定文件

相當(dāng)于Excel分列操作的固定長度模式

所謂固定文件是相對可變文件而言，使用固定文件節(jié)點(diǎn)從固定字段文本文件（其字段沒有被分隔，但開始位置相同且長度固定）中導(dǎo)入數(shù)據(jù)。機(jī)器生成的數(shù)據(jù)或遺存數(shù)據(jù)通常以固定字段格式存儲。使用固定文件節(jié)點(diǎn)的“文件”選項(xiàng)卡，可以輕松地指定數(shù)據(jù)中列的位置和長度。

選擇固定文件，右鍵單擊編輯，選擇一個(gè)文件，如下所示：

數(shù)據(jù)預(yù)覽窗格可用來指定列的位置和長度。預(yù)覽窗口頂部的標(biāo)尺有助于測量變量的長度并指定變量間的斷點(diǎn)。通過單擊字段上方的標(biāo)尺區(qū)域可以指定斷點(diǎn)線。通過拖動(dòng)可移動(dòng)斷點(diǎn)，而將其拖動(dòng)到數(shù)據(jù)預(yù)覽區(qū)域之外則可丟棄斷點(diǎn)。

面向行

如果要跳過每個(gè)記錄末尾的新行字符，可選中此選項(xiàng)。

跳過標(biāo)題行

指定要忽略第一個(gè)記錄的開頭處的行數(shù)。這對忽略列標(biāo)題非常有用。

記錄長度

指定每個(gè)記錄中的字符數(shù)。

字段

已為此數(shù)據(jù)文件定義的所有字段都在此處列出。有以下兩種定義字段的方式：

 移動(dòng)標(biāo)尺，進(jìn)行控制指定字段；

 通過向下面的表添加空字段行手動(dòng)指定字段。單擊字段窗格右側(cè)的按鈕添加新字段。然后在空字段中輸入字段名、開始位置和長度。這些選項(xiàng)會自動(dòng)在數(shù)據(jù)預(yù)覽窗格中添加箭頭，并且可以輕松地調(diào)整這些箭頭。

SAS源節(jié)點(diǎn)&SPSS源節(jié)點(diǎn)

SPSS文件導(dǎo)入對話框

SAS文件導(dǎo)入對話框

SAS導(dǎo)入支持四種文件格式，如上圖所示。導(dǎo)入數(shù)據(jù)時(shí)，所有變量都將保留且不更改任何變量類型。

SPSS和SAS中需要說明的內(nèi)容：

讀取名稱和標(biāo)簽

選中此選項(xiàng)將變量名稱和標(biāo)簽同時(shí)讀入。默認(rèn)情況下將選中此選項(xiàng)，并且變量名稱將顯示在類型節(jié)點(diǎn)中。根據(jù)流屬性對話框中指定的選項(xiàng)，標(biāo)簽將顯示在表達(dá)式構(gòu)建器、圖表、模型瀏覽器和其他類型的輸出中。

讀取用作名稱的標(biāo)簽

選擇從文件中讀取說明性的變量標(biāo)簽而不是短字段名，并將這些標(biāo)簽作為變量名稱在 Cle中使用。

Excel源節(jié)點(diǎn)

Excel的數(shù)據(jù)導(dǎo)入相對來說不是很麻煩，作為我們經(jīng)常使用的工具，有必要介紹一下，下圖為導(dǎo)入數(shù)據(jù)的對話框：