100個Python機器學習小技巧，讓你速通ML

作者：學研君 2025-05-07 07:17:18

本文分享一系列簡潔的代碼片段，涵蓋機器學習過程的各個階段，從數據準備、模型選擇，到模型評估和超參數調優。

構建機器學習模型是數據科學的關鍵環節，涉及運用算法進行數據預測或挖掘數據中的模式。

本文分享一系列簡潔的代碼片段，涵蓋機器學習過程的各個階段，從數據準備、模型選擇，到模型評估和超參數調優。這些代碼示例能幫助你使用諸如Scikit-Learn、XGBoost、CatBoost、LightGBM等庫，完成常見的機器學習任務，還包含使用Hyperopt進行超參數優化、利用SHAP值進行模型解釋等高級技術。

借助這些快速參考代碼，你可以簡化機器學習工作流程，在不同領域開發出高效的預測模型。

一、數據處理與探索

加載數據集：data = pd.read_csv('dataset.csv')
探索數據：data.head()、data.info()、data.describe()
處理缺失值：data.dropna()、data.fillna()
編碼分類變量：pd.get_dummies(data)
將數據拆分為訓練集和測試集：X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
特征縮放：scaler = StandardScaler()，X_scaled = scaler.fit_transform(X)

二、模型初始化、訓練與評估

初始化模型：model = RandomForestClassifier()
訓練模型：model.fit(X_train, y_train)
進行預測：predictions = model.predict(X_test)
評估準確率：accuracy_score(y_test, predictions)
混淆矩陣：conf_matrix = confusion_matrix(y_test, predictions)
分類報告：class_report = classification_report(y_test, predictions)
交叉驗證：cv_scores = cross_val_score(model, X, y, cv=5)
超參數調優：grid_search = GridSearchCV(model, param_grid, cv=5)，grid_search.fit(X, y)
特征重要性：feature_importance = model.feature_importances_
保存模型：joblib.dump(model,'model.pkl')
加載模型：loaded_model = joblib.load('model.pkl')

三、降維和聚類

主成分分析：pca = PCA(n_components=2)，X_pca = pca.fit_transform(X)
降維：pca = PCA(n_components=2)，X_pca = pca.fit_transform(X)
K均值聚類：kmeans = KMeans(n_clusters=3)，kmeans.fit(X)，labels = kmeans.labels_
手肘法：Sum_of_squared_distances = []，for k in range(1,11): kmeans = KMeans(n_clusters=k)，kmeans.fit(X)，Sum_of_squared_distances.append(kmeans.inertia_)
輪廓系數：silhouette_avg = silhouette_score(X, labels)

四、各類分類模型

決策樹：dt_model = DecisionTreeClassifier()，dt_model.fit(X_train, y_train)
支持向量機：svm_model = SVC()，svm_model.fit(X_train, y_train)
樸素貝葉斯：nb_model = GaussianNB()，nb_model.fit(X_train, y_train)
K近鄰分類：knn_model = KNeighborsClassifier()，knn_model.fit(X_train, y_train)
近鄰回歸：KNeighborsRegressor(n_neighbors=5).fit(X_train, y_train)
邏輯回歸：logreg_model = LogisticRegression()，logreg_model.fit(X_train, y_train)
嶺回歸：ridge_model = Ridge()，ridge_model.fit(X_train, y_train)
套索回歸：lasso_model = Lasso()，lasso_model.fit(X_train, y_train)
集成方法：ensemble_model = VotingClassifier(estimators=[('clf1', clf1), ('clf2', clf2)], voting='soft')，ensemble_model.fit(X_train, y_train)
裝袋法：bagging_model = BaggingClassifier(base_estimator=DecisionTreeClassifier(), n_estimators=100)，bagging_model.fit(X_train, y_train)
隨機森林：rf_model = RandomForestClassifier(n_estimators=100)，rf_model.fit(X_train, y_train)
梯度提升：gb_model = GradientBoostingClassifier()，gb_model.fit(X_train, y_train)
AdaBoost：adaboost_model = AdaBoostClassifier()，adaboost_model.fit(X_train, y_train)
XGBoost：xgb_model = xgb.XGBClassifier()，xgb_model.fit(X_train, y_train)
LightGBM：lgb_model = lgb.LGBMClassifier()，lgb_model.fit(X_train, y_train)
CatBoost：catboost_model = CatBoostClassifier()，catboost_model.fit(X_train, y_train)

五、模型評估指標

ROC曲線：fpr, tpr, thresholds = roc_curve(y_test, predictions_prob[:,1])
ROC曲線下面積：roc_auc = roc_auc_score(y_test, predictions_prob[:,1])
精確率 - 召回率曲線：precision, recall, thresholds = precision_recall_curve(y_test, predictions_prob[:,1])
精確率 - 召回率曲線下面積：pr_auc = auc(recall, precision)
F1分數：f1 = f1_score(y_test, predictions)
受試者工作特征曲線AUC：roc_auc = roc_auc_score(y_test, predictions_prob[:,1])
均方誤差：mse = mean_squared_error(y_test, predictions)
決定系數（R2）：r2 = r2_score(y_test, predictions)

六、交叉驗證和采樣技術

分層采樣：stratified_kfold = StratifiedKFold(n_splits=5)
時間序列分割：time_series_split = TimeSeriesSplit(n_splits=5)
重采樣（欠采樣）：rus = RandomUnderSampler()，X_resampled, y_resampled = rus.fit_resample(X, y)
重采樣（過采樣）：ros = RandomOverSampler()，X_resampled, y_resampled = ros.fit_resample(X, y)
SMOTE（合成少數過采樣技術）：smote = SMOTE()，X_resampled, y_resampled = smote.fit_resample(X, y)
類別權重：class_weight='balanced'
交叉驗證中的分層采樣：stratified_cv = StratifiedKFold(n_splits=5)

七、特征工程與轉換

學習曲線：plot_learning_curve(model, X, y)
驗證曲線：plot_validation_curve(model, X, y, param_name='param', param_range=param_range)
提前停止（以XGBoost為例）：early_stopping_rounds=10
特征縮放：scaler = MinMaxScaler(feature_range=(0, 1))，X_scaled = scaler.fit_transform(X)
獨熱編碼：data_encoded = pd.get_dummies(data)
標簽編碼：label_encoder = LabelEncoder()，data['label_encoded'] = label_encoder.fit_transform(data['label'])
數據歸一化：scaler = StandardScaler()，X_normalized = scaler.fit_transform(X)
數據標準化：scaler = MinMaxScaler()，X_standardized = scaler.fit_transform(X)
數據變換：X_transformed = np.log1p(data)
異常值檢測：iso_forest = IsolationForest()，outliers = iso_forest.fit_predict(X)
異常檢測：envelope = EllipticEnvelope(contamination=0.01)，outliers = envelope.fit_predict(X)
數據插補：imputer = SimpleImputer(strategy='mean')，X_imputed = imputer.fit_transform(X)
多項式回歸：poly = PolynomialFeatures(degree=2)，X_poly = poly.fit_transform(X)

八、回歸模型與技術

L1正則化：lasso = Lasso(alpha=1.0)，lasso.fit(X_train, y_train)
L2正則化：ridge = Ridge(alpha=1.0)，ridge.fit(X_train, y_train)
Huber回歸：huber = HuberRegressor()，huber.fit(X_train, y_train)
分位數回歸：quantile_reg = QuantReg(y_train, X_train)，quantile_result = quantile_reg.fit(q=0.5)
穩健回歸：ransac = RANSACRegressor()，ransac.fit(X_train, y_train)

九、自動化機器學習和高級技術

使用TPOT進行自動化機器學習：tpot = TPOTClassifier()，tpot.fit(X_train, y_train)
使用H2O進行自動化機器學習：h2o_automl = H2OAutoML(max_models=10, seed=1)，h2o_automl.train(x=X_train.columns, y='target', training_frame=train)

十、繪圖與可視化

保存繪圖：plt.savefig('plot.png')
繪制特征重要性圖：plot_feature_importance(model)
K均值聚類可視化：plt.scatter(X[:, 0], X[:, 1], c=KMeans(n_clusters=3).fit_predict(X), cmap='viridis')

十一、其他

交叉驗證預測：cv_predictions = cross_val_predict(model, X, y, cv=5)
自定義評估指標：custom_metric = custom_metric(y_true, y_pred)
使用scikit-learn進行特征選擇：kbest = SelectKBest(chi2, k=5)，X_selected = kbest.fit_transform(X, y)
帶交叉驗證的遞歸特征消除：rfecv = RFECV(estimator=DecisionTreeClassifier(), step=1, cv=5)，X_rfecv = rfecv.fit_transform(X, y)
多項式回歸次數：poly = PolynomialFeatures(degree=2)，X_poly = poly.fit_transform(X)
處理類別不平衡問題：class_weight='balanced'
AdaBoost中的學習率：learning_rate=0.1
用于確保可重復性的隨機種子：random_state=42
嶺回歸的alpha參數：ridge = Ridge(alpha=1.0)，ridge.fit(X_train, y_train)
套索回歸的alpha參數：lasso = Lasso(alpha=1.0)，lasso.fit(X_train, y_train)
決策樹的最大深度：dt_model = DecisionTreeClassifier(max_depth=3)，dt_model.fit(X_train, y_train)
K近鄰的參數：knn_model = KNeighborsClassifier(n_neighbors=5)，knn_model.fit(X_train, y_train)
支持向量機的核參數：svm_model = SVC(kernel='rbf')，svm_model.fit(X_train, y_train)
隨機森林的估計器數量：rf_model = RandomForestClassifier(n_estimators=100)，rf_model.fit(X_train, y_train)
梯度提升的學習率：gb_model = GradientBoostingClassifier(learning_rate=0.1)，gb_model.fit(X_train, y_train)
使用網格搜索的Huber回歸：GridSearchCV(HuberRegressor(), {'epsilon': [1.1, 1.2, 1.3]}, cv=5).fit(X_train, y_train)
帶交叉驗證的嶺回歸：RidgeCV(alphas=[0.1, 1.0, 10.0], cv=5).fit(X_train, y_train)
模型堆疊：stacked_model = StackingClassifier(classifiers=[clf1, clf2], meta_classifier=meta_clf)，stacked_model.fit(X_train, y_train)

責任編輯：武曉燕來源： Python學研大本營