開(kāi)源工具 | Python數(shù)據(jù)科學(xué)入門(mén)

作者：Payal Singh 2018-11-06 20:30:23

開(kāi)發(fā) 后端機(jī)器學(xué)習(xí) 大數(shù)據(jù)

無(wú)論你是一個(gè)具有數(shù)學(xué)或計(jì)算機(jī)科學(xué)背景的資深數(shù)據(jù)科學(xué)愛(ài)好者，還是一個(gè)其它領(lǐng)域的專(zhuān)家，數(shù)據(jù)科學(xué)提供的可能性都在你力所能及的范圍內(nèi)，而且你不需要昂貴的，高度專(zhuān)業(yè)化的企業(yè)級(jí)軟件。本文中討論的開(kāi)源工具就是你入門(mén)時(shí)所需的全部?jī)?nèi)容。

[[248716]]

不需要昂貴的工具即可領(lǐng)略數(shù)據(jù)科學(xué)的力量，從這些開(kāi)源工具起步即可。

Python，其機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)庫(kù)（pandas、 Keras、 TensorFlow、 scikit-learn、 SciPy、 NumPy 等），以及大量可視化庫(kù)（Matplotlib、pyplot、 Plotly 等）對(duì)于初學(xué)者和專(zhuān)家來(lái)說(shuō)都是優(yōu)秀的自由及開(kāi)源軟件工具。它們易于學(xué)習(xí)，很受歡迎且受到社區(qū)支持，并擁有為數(shù)據(jù)科學(xué)而開(kāi)發(fā)的***技術(shù)和算法。它們是你在開(kāi)始學(xué)習(xí)時(shí)可以獲得的***工具集之一。

許多 Python 庫(kù)都是建立在彼此之上的（稱(chēng)為依賴(lài)項(xiàng)），其基礎(chǔ)是 NumPy 庫(kù)。NumPy 專(zhuān)門(mén)為數(shù)據(jù)科學(xué)設(shè)計(jì)，經(jīng)常被用于在其 ndarray 數(shù)據(jù)類(lèi)型中存儲(chǔ)數(shù)據(jù)集的相關(guān)部分。ndarray 是一種方便的數(shù)據(jù)類(lèi)型，用于將關(guān)系表中的記錄存儲(chǔ)為 cvs 文件或其它任何格式，反之亦然。將 scikit 函數(shù)應(yīng)用于多維數(shù)組時(shí)，它特別方便。SQL 非常適合查詢(xún)數(shù)據(jù)庫(kù)，但是對(duì)于執(zhí)行復(fù)雜和資源密集型的數(shù)據(jù)科學(xué)操作，在 ndarray 中存儲(chǔ)數(shù)據(jù)可以提高效率和速度（但請(qǐng)確保在處理大量數(shù)據(jù)集時(shí)有足夠的 RAM）。當(dāng)你使用 pandas 進(jìn)行知識(shí)提取和分析時(shí)，pandas 中的 DataFrame 數(shù)據(jù)類(lèi)型和 NumPy 中的 ndarray 之間的無(wú)縫轉(zhuǎn)換分別為提取和計(jì)算密集型操作創(chuàng)建了一個(gè)強(qiáng)大的組合。

作為快速演示，讓我們啟動(dòng) Python shell 并在 pandas DataFrame 變量中加載來(lái)自巴爾的摩的犯罪統(tǒng)計(jì)數(shù)據(jù)的開(kāi)放數(shù)據(jù)集，并查看加載的一部分 DataFrame：

>>>  import pandas as pd
>>>  crime_stats = pd.read_csv('BPD_Arrests.csv')
>>>  crime_stats.head()

我們現(xiàn)在可以在這個(gè) pandas DataFrame 上執(zhí)行大多數(shù)查詢(xún)，就像我們可以在數(shù)據(jù)庫(kù)中使用 SQL 一樣。例如，要獲取 Description 屬性的所有唯一值，SQL 查詢(xún)是：

$ SELECT unique(“Description”) from crime_stats;

利用 pandas DataFrame 編寫(xiě)相同的查詢(xún)?nèi)缦滤荆?/p>

>>>  crime_stats['Description'].unique()
['COMMON   ASSAULT'   'LARCENY'   'ROBBERY   - STREET'   'AGG.   ASSAULT'
'LARCENY   FROM   AUTO'   'HOMICIDE'   'BURGLARY'   'AUTO   THEFT'
'ROBBERY   - RESIDENCE'   'ROBBERY   - COMMERCIAL'   'ROBBERY   - CARJACKING'
'ASSAULT   BY  THREAT'   'SHOOTING'   'RAPE'   'ARSON']

它返回的是一個(gè) NumPy 數(shù)組（ndarray 類(lèi)型）：

>>>  type(crime_stats['Description'].unique())
<class   'numpy.ndarray'>

接下來(lái)讓我們將這些數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，看看它能多準(zhǔn)確地預(yù)測(cè)使用的武器類(lèi)型，給出的數(shù)據(jù)包括犯罪事件，犯罪類(lèi)型以及發(fā)生的地點(diǎn)：

>>>  from   sklearn.neural_network   import   MLPClassifier
>>>  import   numpy   as np
>>>
>>>  prediction   =  crime_stats[[‘Weapon’]]
>>>  predictors   =  crime_stats['CrimeTime',   ‘CrimeCode’,   ‘Neighborhood’]
>>>
>>>  nn_model   =  MLPClassifier(solver='lbfgs',   alpha=1e-5,   hidden_layer_sizes=(5,
2),   random_state=1)
>>>
>>>predict_weapon   =  nn_model.fit(prediction,   predictors)

現(xiàn)在學(xué)習(xí)模型準(zhǔn)備就緒，我們可以執(zhí)行一些測(cè)試來(lái)確定其質(zhì)量和可靠性。對(duì)于初學(xué)者，讓我們輸入一個(gè)訓(xùn)練集數(shù)據(jù)（用于訓(xùn)練模型的原始數(shù)據(jù)集的一部分，不包括在創(chuàng)建模型中）：

>>>  predict_weapon.predict(training_set_weapons)
array([4,   4,   4,   ..., 0,   4,   4])

如你所見(jiàn)，它返回一個(gè)列表，每個(gè)數(shù)字預(yù)測(cè)訓(xùn)練集中每個(gè)記錄的武器。我們之所以看到的是數(shù)字而不是武器名稱(chēng)，是因?yàn)榇蠖鄶?shù)分類(lèi)算法都是用數(shù)字優(yōu)化的。對(duì)于分類(lèi)數(shù)據(jù)，有一些技術(shù)可以將屬性轉(zhuǎn)換為數(shù)字表示。在這種情況下，使用的技術(shù)是標(biāo)簽編碼，使用 sklearn 預(yù)處理庫(kù)中的 LabelEncoder 函數(shù)：preprocessing.LabelEncoder()。它能夠?qū)σ粋€(gè)數(shù)據(jù)和其對(duì)應(yīng)的數(shù)值表示來(lái)進(jìn)行變換和逆變換。在這個(gè)例子中，我們可以使用 LabelEncoder() 的 inverse_transform 函數(shù)來(lái)查看武器 0 和 4 是什么:

>>>  preprocessing.LabelEncoder().inverse_transform(encoded_weapons)
array(['HANDS',   'FIREARM',   'HANDS',   ..., 'FIREARM',   'FIREARM',   'FIREARM']

這很有趣，但為了了解這個(gè)模型的準(zhǔn)確程度，我們將幾個(gè)分?jǐn)?shù)計(jì)算為百分比：

>>>  nn_model.score(X,   y)
0.81999999999999995

這表明我們的神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確度約為 82%。這個(gè)結(jié)果似乎令人印象深刻，但用于不同的犯罪數(shù)據(jù)集時(shí)，檢查其有效性非常重要。還有其它測(cè)試來(lái)做這個(gè)，如相關(guān)性、混淆、矩陣等。盡管我們的模型有很高的準(zhǔn)確率，但它對(duì)于一般犯罪數(shù)據(jù)集并不是非常有用，因?yàn)檫@個(gè)特定數(shù)據(jù)集具有不成比例的行數(shù)，其列出 FIREARM 作為使用的武器。除非重新訓(xùn)練，否則我們的分類(lèi)器最有可能預(yù)測(cè) FIREARM，即使輸入數(shù)據(jù)集有不同的分布。

在對(duì)數(shù)據(jù)進(jìn)行分類(lèi)之前清洗數(shù)據(jù)并刪除異常值和畸形數(shù)據(jù)非常重要。預(yù)處理越好，我們的見(jiàn)解準(zhǔn)確性就越高。此外，為模型或分類(lèi)器提供過(guò)多數(shù)據(jù)（通常超過(guò) 90%）以獲得更高的準(zhǔn)確度是一個(gè)壞主意，因?yàn)樗雌饋?lái)準(zhǔn)確但由于過(guò)度擬合而無(wú)效。

Jupyter notebooks 相對(duì)于命令行來(lái)說(shuō)是一個(gè)很好的交互式替代品。雖然 CLI 對(duì)于大多數(shù)事情都很好，但是當(dāng)你想要運(yùn)行代碼片段以生成可視化時(shí)，Jupyter 會(huì)很出色。它比終端更好地格式化數(shù)據(jù)。

這篇文章列出了一些***的機(jī)器學(xué)習(xí)免費(fèi)資源，但是還有很多其它的指導(dǎo)和教程。根據(jù)你的興趣和愛(ài)好，你還會(huì)發(fā)現(xiàn)許多開(kāi)放數(shù)據(jù)集可供使用。作為起點(diǎn)，由 Kaggle 維護(hù)的數(shù)據(jù)集，以及在州政府網(wǎng)站上提供的數(shù)據(jù)集是極好的資源。

責(zé)任編輯：龐桂玉來(lái)源： Linux中國(guó)

Python 開(kāi)源工具機(jī)器學(xué)習(xí)