Python數據分析必學的八個核心庫
在當今這個數據驅動的世界里，數據分析已經成為各行各業中不可或缺的一部分。Python，作為一種功能強大且易于學習的編程語言，因其豐富的庫生態系統，在數據分析領域占據了舉足輕重的地位。本文將介紹Python在數據分析中常用的8個經典庫，幫助大家更好地了解和應用Python進行數據分析工作。
1. NumPy
NumPy（Numerical Python的簡稱）是Python科學計算的基礎庫。它提供了高性能的多維數組對象（ndarray）以及大量的數學函數來操作這些數組。
- 數值計算基礎: NumPy是所有數值計算任務的核心庫，提供快速的數組運算。
- 線性代數運算: 支持矩陣運算、特征值分解、奇異值分解等線性代數操作。
- 隨機數生成: 可以生成各種概率分布的隨機數，用于模擬和統計分析。
代碼示例：
import numpy as np
# 創建NumPy數組
a = np.array([1, 2, 3, 4, 5])
print("NumPy 數組:", a)
# 數組運算
b = a * 2
print("數組乘以 2:", b)
# 矩陣運算
matrix1 = np.array([[1, 2], [3, 4]])
matrix2 = np.array([[5, 6], [7, 8]])
matrix_product = np.dot(matrix1, matrix2)
print("矩陣乘積:\n", matrix_product)2. Pandas
Pandas 是Python數據分析的核心庫，提供了高性能、易于使用的數據結構，特別是DataFrame和Series。DataFrame允許您以表格形式組織和操作數據，類似于電子表格或SQL表。
- 數據導入與導出: 可以讀取和寫入多種數據格式，如CSV、Excel、SQL數據庫、JSON等。
- 數據清洗與預處理: 提供缺失值處理、數據去重、數據轉換等功能。
- 數據分析與探索: 支持數據篩選、排序、分組、聚合、透視表等操作。
import pandas as pd
# 創建 DataFrame
data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David'],
'年齡': [25, 30, 22, 35],
'城市': ['北京', '上海', '廣州', '深圳']}
df = pd.DataFrame(data)
print("DataFrame:\n", df)
# 讀取 CSV 文件
# df_csv = pd.read_csv('data.csv')
# 數據篩選
df_filtered = df[df['年齡'] > 25]
print("年齡大于 25 的數據:\n", df_filtered)3. Matplotlib
Matplotlib 是Python中最基礎的繪圖庫，提供了廣泛的靜態、交互式和動畫可視化選項。它是構建更高級可視化庫（如Seaborn）的基礎。
- 創建各種圖表: 包括折線圖、散點圖、柱狀圖、餅圖、直方圖等。
- 定制化繪圖: 可以精細控制圖表的各個方面，如顏色、線條樣式、標簽、標題等。
- 數據可視化探索: 用于初步的數據可視化和探索性分析。
import matplotlib.pyplot as plt
# 示例數據
x = np.linspace(0, 10, 100)
y = np.sin(x)
# 繪制折線圖
plt.plot(x, y)
plt.title('正弦曲線')
plt.xlabel('X 軸')
plt.ylabel('Y 軸')
plt.show()4. Seaborn
Seaborn 是基于Matplotlib的高級可視化庫，專注于統計數據可視化。它提供了更美觀、更信息豐富的默認樣式，并簡化了創建復雜統計圖的過程。
- 統計關系可視化: 例如散點圖矩陣、成對關系圖、分布圖等，幫助理解變量間的統計關系。
- 分類數據可視化: 箱線圖、小提琴圖、條形圖等，用于比較不同類別數據的分布。
- 熱圖和聚類圖: 用于可視化矩陣數據和相關性，常用于探索數據集中的模式。
import seaborn as sns
# 示例數據集
iris = sns.load_dataset('iris')
# 繪制散點圖矩陣
sns.pairplot(iris, hue='species')
plt.show()
# 繪制箱線圖
sns.boxplot(x='species', y='sepal_length', data=iris)
plt.show()5. SciPy
SciPy (Scientific Python) 是一個用于科學和技術計算的庫，構建在NumPy之上。它提供了許多模塊，用于優化、線性代數、積分、插值、特殊函數、FFT、信號和圖像處理、常微分方程求解以及統計等。
常用用途：
- 統計分析: 提供豐富的統計函數，如概率分布、統計檢驗、描述性統計等。
- 優化和數值積分: 用于求解優化問題和計算數值積分。
- 信號處理: 包含信號濾波、頻譜分析等功能。
from scipy import stats
from scipy.optimize import minimize
# 統計檢驗 (t 檢驗)
data1 = np.random.normal(0, 1, 100)
data2 = np.random.normal(0.5, 1, 100)
t_statistic, p_value = stats.ttest_ind(data1, data2)
print("獨立樣本 t 檢驗:")
print("T 統計量:", t_statistic, "P 值:", p_value)
# 優化 (求函數最小值)
def objective_function(x):
return x**2 + 5*np.sin(x)
result = minimize(objective_function, 0)
print("優化結果:\n", result)6. Statsmodels
Statsmodels 是一個專注于統計建模和計量經濟學的Python庫。它提供了描述統計、統計檢驗以及評估和解釋統計模型的類和函數。
- 線性模型和回歸分析: 包括普通最小二乘法 (OLS)、廣義線性模型 (GLM)、穩健回歸等。
- 時間序列分析: ARIMA、VAR 等時間序列模型。
- 假設檢驗: 各種統計檢驗方法。
import statsmodels.api as sm
# 示例數據
X = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 5, 4, 5])
X = sm.add_constant(X) # 添加常數項
# 擬合 OLS 模型
model = sm.OLS(y, X)
results = model.fit()
print(results.summary())7. Scikit-learn
Scikit-learn (也稱為 sklearn) 是一個用于機器學習的Python庫。雖然主要關注機器學習，但它也提供了許多用于數據分析的工具，例如數據預處理、降維、模型選擇、評估等。
常用用途：
- 數據預處理: 包括數據標準化、歸一化、特征選擇、降維等。
- 模型訓練與評估: 提供各種機器學習算法 (分類、回歸、聚類等) 的實現，以及模型評估工具。
- 交叉驗證和參數調優: 用于提高模型泛化能力。
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# 示例數據 (假設已加載數據 X, y)
# X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 訓練邏輯回歸模型
# model = LogisticRegression()
# model.fit(X_train, y_train)
# 預測與評估
# y_pred = model.predict(X_test)
# accuracy = accuracy_score(y_test, y_pred)
# print("模型準確率:", accuracy)8. Plotly
Plotly 是一個用于創建交互式可視化圖表的庫。與Matplotlib和Seaborn相比，Plotly生成的圖表可以在Web瀏覽器中進行縮放、平移、懸停等操作，更適合于數據探索和在線展示。
- 創建交互式圖表: 折線圖、散點圖、地理圖、三維圖等。
- Web 應用和儀表板: 非常適合在Web應用和數據儀表板中嵌入交互式圖表。
- 數據探索和展示: 提供豐富的交互功能，便于深入探索數據和進行有效展示。
import plotly.express as px
# 示例數據
data = px.data.iris()
# 繪制交互式散點圖
fig = px.scatter(data, x="sepal_width", y="sepal_length", color="species",
hover_data=['petal_width', 'petal_length'])
fig.show()以上介紹的8個Python庫是數據分析領域中最常用且經典的工具。NumPy和Pandas提供了數據處理的基礎框架，Matplotlib、Seaborn和Plotly用于數據可視化，SciPy和Statsmodels用于統計分析和建模，Scikit-learn則提供了強大的機器學習功能。 掌握這些庫，您將能夠高效地進行各種數據分析任務。
