5個可以幫助Pandas進行數據預處理的可視化圖表
"一目了然勝過千言萬語。"分析數據點的探索性數據分析(EDA)是在算法的數據建模之前制定假設的正確步驟。
數據科學行業中一個最常見的陷阱是花費數小時為他們的項目尋找最佳算法，而沒有花足夠的時間首先理解數據。
數據科學和機器學習項目的結構化方法從項目目標開始。同一組數據點可以推斷出一些有意義的信息?；谖覀兯鶎ふ业?，我們需要關注數據的另一個方面。一旦我們明確了目標，我們就應該開始考慮我們需要的數據點。這將使我們能夠專注于最相關的信息集，而忽略可能不重要的數據集。
在現實生活中，從多個來源收集到的大多數時間數據都有空白值、打字錯誤和其他異常。在進行任何數據分析之前，清除數據是至關重要的。
在本文中，我將討論五個強大的數據可視化選項，它們可以立即提供數據特征的感覺。即使在正式建?；蚣僭O測試任務之前，執行EDA就可以傳達大量關于數據和特征之間關系的信息。
第1步-我們將導入pandas、matplotlib、seaborn和NumPy包，我們將使用這些包進行分析。我們需要散點圖、自相關圖、滯后圖和平行圖。
- import pandas as pd
- import numpy as np
- import matplotlib.pyplot as plt
- from pandas.plotting import autocorrelation_plot
- import seaborn as sns
- from pandas.plotting import scatter_matrix
- from pandas.plotting import autocorrelation_plot
- from pandas.plotting import parallel_coordinates
- from pandas.plotting import lag_plot
第2步-在Seaborn包中，有一個內置的小數據集。我們將使用"mpg"、"tips"和"attention"數據進行可視化。數據集是在seaborn中使用load_dataset方法加載的。
- """Download the datasets used in the program """
- CarDatabase= sns.load_dataset("mpg")
- MealDatabase= sns.load_dataset("tips")
- AttentionDatabase= sns.load_dataset("attention")
六邊形分箱圖(hexpin)
我們經常使用散點圖來快速掌握變量之間的關系。只要圖中沒有人口稠密的數據點，獲得一個洞察力是非常有幫助的。在下面的代碼中，我們繪制了"mpg"數據集中"Horsepower" 和"Acceleration"數據點之間的散點圖。
- plt.scatter(CarDatabase.acceleration ,CarDatabase.horsepower,marker="^")
- plt.show()
散點圖中的點密集分布，從中獲取有意義的信息有點困難。
hexpins是解決重疊點散點圖的一個很好的替代方案。每個點不是在hexbin圖中單獨繪制的。在下面的代碼中，我們用相同的數據集在"Horsepower" 和"Acceleration"之間繪制一個hexbin。
- CarDatabase.plot.hexbin(x='acceleration', y='horsepower', gridsize=10,cmap="YlGnBu")
- plt.show()
在hexpin圖中可以清楚地推斷"Horsepower" 和"Acceleration"范圍集中值，變量之間呈負線性關系。六邊形的大小取決于"網格大小"參數。
熱力圖(Heatmaps)
熱力是我個人最喜歡查看不同變量之間的相關性。那些在媒體上跟蹤我的人可能已經注意到我經常使用它。在下面的代碼中，我們將計算seaborn"mpg"數據集中所有變量之間的成對相關性，并將其繪制為熱力圖。
熱力圖是我個人最喜歡查看不同變量之間的相關性。那些在媒體上跟蹤我的人可能已經注意到我經常使用它。在下面的代碼中，我們將計算seaborn"mpg"數據集中所有變量之間的成對相關性，并將其繪制為熱力圖。
- sns.heatmap(CarDatabase.corr(), annot=True, cmap="YlGnBu")
- plt.show()
我們可以看到"cylinders" 和 "horsepower" 是密切正相關的(正如在汽車中所預期的)，而重量與加速度成反比。我們只需幾行代碼就可以快速理解所有不同變量之間的指示性關系。
自相關圖(Autocorrelation)
自相關圖是一個快速的試金石測試，以確定數據點是否隨機。如果數據點遵循某種趨勢，那么一個或多個自相關將顯著非零。圖中的虛線顯示99%的置信區間。在下面的代碼中，我們正在檢查"tips"數據庫中的總帳單金額是否是隨機的。
- autocorrelation_plot(MealDatabase.total_bill)
- plt.show()
我們可以看到，自相關圖在所有時間滯后中都非常接近于零，這表明總的_bill數據點是隨機的。
當我們按照特定順序繪制數據點的自相關圖時，我們可以看到該圖顯著地非零。
- data = pd.Series(np.arange(12,7000,16.3)) autocorrelation_plot(data)
- plt.show()
滯后圖(Lag)
滯后圖也有助于驗證數據集是隨機值集還是遵循某種趨勢。當繪制"tips"數據集的"total_bills"值的滯后圖時，就像在自相關圖中一樣，滯后圖表明它是隨機數據，到處都有值。
- lag_plot(MealDatabase.total_bill)
- plt.show()
當我們延遲繪制一個非隨機數據序列時，如下面的代碼所示，我們得到了一條平滑的線條。
- data = pd.Series(np.arange(-12*np.pi,300*np.pi,10))
- lag_plot(data)
- plt.show()
平行坐標圖(Parallel coordinates)
把我們的大腦包圍起來并將其可視化不僅僅是三維數據，這一直是一個挑戰。繪制高維數據集的平行坐標非常有用。每個尺寸用一條垂直線表示。
在平行坐標系中，"N"等距垂直線表示數據集的"N"維度。頂點在第n個軸上的位置對應于該點的第n個坐標。
讓我們考慮一個小樣本數據，它有五個小部件和大尺寸小部件的五個特性。
垂直線表示小部件的每個功能。一系列連續的線段代表"小"和"大"小部件的特征值。
下面的代碼繪制了seaborn中"attention"數據集的平行坐標。請注意，群集的點看起來更靠近。
- parallel_coordinates(AttentionDatabase,"attention",color=('#556270', '#C7F464'))
- plt.show()
我希望你能開始使用這些現成的繪圖來執行探索性的數據分析
