應(yīng)對(duì)機(jī)器學(xué)習(xí)中類不平衡的10種技巧
介紹
當(dāng)一個(gè)類的觀察值高于其他類的觀察值時(shí)，則存在類失衡。
示例：檢測(cè)信用卡欺詐交易。如下圖所示，欺詐交易大約為400，而非欺詐交易大約為90000。
類不平衡是機(jī)器學(xué)習(xí)中的常見問題，尤其是在分類問題中。不平衡數(shù)據(jù)可能會(huì)長(zhǎng)時(shí)間妨礙我們的模型準(zhǔn)確性。
類不平衡出現(xiàn)在許多領(lǐng)域，包括：
- 欺詐識(shí)別
- 垃圾郵件過濾
- 疾病篩查
- SaaS訂閱流失
- 廣告點(diǎn)擊
類失衡問題
當(dāng)每個(gè)類別中的樣本數(shù)量大致相等時(shí)，大多數(shù)機(jī)器學(xué)習(xí)算法效果最佳。這是因?yàn)榇蠖鄶?shù)算法都是為了最大化精確度和減少誤差而設(shè)計(jì)的。
然而，如果數(shù)據(jù)集不平衡，那么在這種情況下，僅僅通過預(yù)測(cè)多數(shù)類就可以獲得相當(dāng)高的準(zhǔn)確率，但是無法捕捉少數(shù)類，這通常是創(chuàng)建模型的首要目的。
信用卡欺詐檢測(cè)示例
假設(shè)我們有一個(gè)信用卡公司的數(shù)據(jù)集，我們必須找出信用卡交易是否是欺詐性的。
但是這里有個(gè)陷阱……欺詐交易相對(duì)罕見，只有6%的交易是欺詐行為。
現(xiàn)在，在你還沒有開始之前，你是否能想到問題應(yīng)該如何解決?想象一下，如果你根本不花時(shí)間訓(xùn)練模型。相反，如果你只編寫了一行總是預(yù)測(cè)“沒有欺詐性交易”的代碼，該怎么辦?
- def transaction(transaction_data):
- return 'No fradulent transaction'
好吧，你猜怎么著?你的“解決方案”將具有94%的準(zhǔn)確性!
不幸的是，這種準(zhǔn)確性令人誤解。
所有這些非欺詐性的交易，你都將擁有100%的準(zhǔn)確性。
那些欺詐性的交易，你的準(zhǔn)確性為0%。
僅僅因?yàn)榇蠖鄶?shù)交易不是欺詐性的(不是因?yàn)槟愕哪Ｐ秃芎?，你的總體準(zhǔn)確性就很高。
這顯然是一個(gè)問題，因?yàn)樵S多機(jī)器學(xué)習(xí)算法都旨在最大程度地提高整體準(zhǔn)確性。在本文中，我們將看到處理不平衡數(shù)據(jù)的不同技術(shù)。
數(shù)據(jù)
我們將在本文中使用信用卡欺詐檢測(cè)數(shù)據(jù)集，你可以從此處找到該數(shù)據(jù)集。
https://www.kaggle.com/mlg-ulb/creditcardfraud
加載數(shù)據(jù)后，顯示數(shù)據(jù)集的前五行。
- # check the target variable that is fraudulet and not fradulent transactiondata['Class'].value_counts()# 0 -> non fraudulent
- # 1 -> fraudulent
- # visualize the target variable
- g = sns.countplot(data['Class'])
- g.set_xticklabels(['Not Fraud','Fraud'])
- plt.show()
你可以清楚地看到數(shù)據(jù)集之間存在巨大差異。9000次非欺詐性交易和492次欺詐性交易。
指標(biāo)陷阱
新開發(fā)人員用戶在處理不平衡數(shù)據(jù)集時(shí)遇到的一個(gè)主要問題與用于評(píng)估其模型的指標(biāo)有關(guān)。使用更簡(jiǎn)單的指標(biāo)，比如準(zhǔn)確度得分，可能會(huì)產(chǎn)生誤導(dǎo)。在具有高度不平衡類的數(shù)據(jù)集中，分類器總是在不進(jìn)行特征分析的情況下“預(yù)測(cè)”最常見的類，并且它的準(zhǔn)確率很高，顯然不是正確的。
讓我們做這個(gè)實(shí)驗(yàn)，使用簡(jiǎn)單的XGBClassifier和無特征工程：
- # import linrary
- from xgboost import XGBClassifier
- xgb_model = XGBClassifier().fit(x_train, y_train)# predictxgb_y_predict = xgb_model.predict(x_test)# accuracy scorexgb_score = accuracy_score(xgb_y_predict, y_test)print('Accuracy score is:', xbg_score)OUTPUT
- Accuracy score is: 0.992
我們可以看到99%的準(zhǔn)確度，我們得到的是非常高的準(zhǔn)確度，因?yàn)樗A(yù)測(cè)大多數(shù)類別為0(非欺詐性)。
重采樣技術(shù)
一種處理高度不平衡數(shù)據(jù)集的廣泛采用的技術(shù)稱為重采樣。它包括從多數(shù)類中刪除樣本(欠采樣)和/或從少數(shù)類中添加更多示例(過采樣)。
盡管平衡類有很多好處，但是這些技巧也有缺點(diǎn)。
過采樣最簡(jiǎn)單的實(shí)現(xiàn)是復(fù)制少數(shù)群體類別的隨機(jī)記錄，這可能會(huì)導(dǎo)致過度捕撈。
欠采樣最簡(jiǎn)單的實(shí)現(xiàn)涉及從多數(shù)類中刪除隨機(jī)記錄，這可能會(huì)導(dǎo)致信息丟失。
讓我們用信用卡欺詐檢測(cè)示例來實(shí)現(xiàn)它。
我們將首先將類0和類1分開。
- # class count
- class_count_0, class_count_1 = data['Class'].value_counts()
- # Separate classclass_0 = data[data['Class'] == 0]
- class_1 = data[data['Class'] == 1]# print the shape of the class
- print('class 0:', class_0.shape)
- print('class 1:', class_1.shape
1.隨機(jī)欠采樣
欠采樣可以定義為刪除多數(shù)類的觀察值。這是在多數(shù)類和少數(shù)類被平衡之前進(jìn)行的。
當(dāng)你擁有大量數(shù)據(jù)時(shí)，欠采樣可能是一個(gè)不錯(cuò)的選擇，比如數(shù)百萬行。但是欠采樣的一個(gè)缺點(diǎn)是我們可能刪除了有價(jià)值的信息。
- class_0_under = class_0.sample(class_count_1)
- test_under = pd.concat([class_0_under, class_1], axis=0)
- print("total class of 1 and0:",test_under['Class'].value_counts())# plot the count after under-sampeling
- test_under['Class'].value_counts().plot(kind='bar', title='count (target)')
2.隨機(jī)過采樣
過采樣可以定義為向少數(shù)類添加更多副本。當(dāng)你沒有大量數(shù)據(jù)要處理時(shí)，過采樣可能是一個(gè)不錯(cuò)的選擇。
欠采樣時(shí)要考慮的一個(gè)弊端是，它可能導(dǎo)致過擬合并導(dǎo)致測(cè)試集泛化不佳。
- class_1_over = class_1.sample(class_count_0, replace=True)
- test_over = pd.concat([class_1_over, class_0], axis=0)
- print("total class of 1 and 0:",test_under['Class'].value_counts())# plot the count after under-sampeling
- test_over['Class'].value_counts().plot(kind='bar', title='count (target)')
使用不平衡學(xué)習(xí)python模塊平衡數(shù)據(jù)
在科學(xué)文獻(xiàn)中已經(jīng)提出了許多更復(fù)雜的重采樣技術(shù)。
例如，我們可以將多數(shù)類的記錄聚類，并通過從每個(gè)聚類中刪除記錄來進(jìn)行欠采樣，從而尋求保留信息。在過采樣中，我們可以為這些副本引入較小的變化，從而創(chuàng)建更多樣的合成樣本，而不是創(chuàng)建少數(shù)群體記錄的精確副本。
讓我們使用Python庫 imbalanced-learn應(yīng)用其中一些重采樣技術(shù)。它與scikit-learn兼容，并且是scikit-learn-contrib項(xiàng)目的一部分。
- import imblearn
3.使用imblearn進(jìn)行隨機(jī)欠采樣
RandomUnderSampler通過為目標(biāo)類別隨機(jī)選擇數(shù)據(jù)子集來平衡數(shù)據(jù)的快速簡(jiǎn)便方法。通過隨機(jī)選擇有或沒有替代品的樣本對(duì)多數(shù)類別進(jìn)行欠采樣。
- # import library
- from imblearn.under_sampling import RandomUnderSampler
- rus = RandomUnderSampler(random_state=42, replacement=True)# fit predictor and target variable
- x_rus, y_rus = rus.fit_resample(x, y)print('original dataset shape:', Counter(y))
- print('Resample dataset shape', Counter(y_rus))
4.使用imblearn進(jìn)行隨機(jī)過采樣
解決不平衡數(shù)據(jù)的一種方法是在少數(shù)群體中生成新樣本。最幼稚的策略是通過隨機(jī)采樣替換當(dāng)前可用的采樣來生成新的采樣。隨機(jī)過采樣提供了這樣一個(gè)方案。
- # import library
- from imblearn.over_sampling import RandomOverSampler
- ros = RandomOverSampler(random_state=42)
- # fit predictor and target variablex_ros, y_ros = ros.fit_resample(x, y)print('Original dataset shape', Counter(y))
- print('Resample dataset shape', Counter(y_ros))
5.欠采樣：Tomek鏈接
Tomek鏈接是一對(duì)非常接近的實(shí)例，但類別相反。刪除每對(duì)多數(shù)類的實(shí)例會(huì)增加兩個(gè)類之間的空間，從而有助于分類過程。
如果兩個(gè)樣本是彼此的最近鄰，則存在Tomek的鏈接
在下面的代碼中，我們將用于ratio='majority'對(duì)多數(shù)類進(jìn)行重新采樣。
- # import library
- from imblearn.under_sampling import TomekLinks
- tl = RandomOverSampler(sampling_strategy='majority')
- # fit predictor and target variablex_tl, y_tl = ros.fit_resample(x, y)print('Original dataset shape', Counter(y))
- print('Resample dataset shape', Counter(y_ros))
6. Synthetic Minority Oversampling Technique (SMOTE)
該技術(shù)為合成少數(shù)過采樣技術(shù)。
SMOTE(合成少數(shù)過采樣技術(shù))的工作原理是從少數(shù)類中隨機(jī)選取一個(gè)點(diǎn)并計(jì)算該點(diǎn)的k近鄰。合成點(diǎn)被添加到所選的點(diǎn)和它的相鄰點(diǎn)之間。
SMOTE算法通過以下四個(gè)簡(jiǎn)單步驟工作：
- 選擇少數(shù)類作為輸入向量
- 查找其k個(gè)最近鄰(在SMOTE()函數(shù)中將k_neighbors指定為參數(shù))
- 選擇這些鄰居中的一個(gè)，并將合成點(diǎn)放置在連接考慮中的點(diǎn)及其所選鄰居的線上的任何位置
- 重復(fù)這些步驟，直到數(shù)據(jù)平衡
- # import library
- from imblearn.over_sampling import SMOTE
- smote = SMOTE()# fit predictor and target variablex_smote, y_smote = smote.fit_resample(x, y)print('Original dataset shape', Counter(y))
- print('Resample dataset shape', Counter(y_ros))
7. NearMiss
NearMiss是欠采樣技術(shù)。與其使用距離重新采樣少數(shù)類，不如將多數(shù)類等同于少數(shù)類。
- from imblearn.under_sampling import NearMiss
- nm = NearMiss()x_nm, y_nm = nm.fit_resample(x, y)print('Original dataset shape:', Counter(y))
- print('Resample dataset shape:', Counter(y_nm))
8.更改性能指標(biāo)
評(píng)估不平衡數(shù)據(jù)集時(shí)，準(zhǔn)確性不是最佳的度量標(biāo)準(zhǔn)，因?yàn)樗赡軙?huì)產(chǎn)生誤導(dǎo)。
可以提供更好洞察力的指標(biāo)是：
- 混淆矩陣：顯示正確預(yù)測(cè)和錯(cuò)誤預(yù)測(cè)類型的表。
- 精度：真實(shí)陽性的數(shù)目除以所有陽性預(yù)測(cè)。精度也稱為正預(yù)測(cè)值。它是分類器準(zhǔn)確性的度量。低精度表示大量誤報(bào)。
- 召回率：真實(shí)陽性的數(shù)量除以測(cè)試數(shù)據(jù)中的陽性值的數(shù)量。召回也稱為敏感度或真實(shí)陽性率。它是分類器完整性的度量。較低的召回率表示大量假陰性。
- F1：得分：準(zhǔn)確性和召回率的加權(quán)平均值。
- ROC曲線下面積(AUROC)：AUROC表示模型將觀測(cè)值與兩個(gè)類區(qū)分開來的可能性。
換句話說，如果你從每個(gè)類中隨機(jī)選擇一個(gè)觀察值，你的模型能夠正確“排序”它們的概率有多大?
9.懲罰算法(成本敏感訓(xùn)練)
下一個(gè)策略是使用懲罰性學(xué)習(xí)算法，該算法會(huì)增加少數(shù)類分類錯(cuò)誤的成本。
這項(xiàng)技術(shù)的一種流行算法是Penalized-SVM。
在訓(xùn)練過程中，我們可以使用參數(shù)class_weight='balanced'來懲罰少數(shù)類的錯(cuò)誤，懲罰量與代表性不足的程度成正比。
如果我們想為支持向量機(jī)算法啟用概率估計(jì)，我們還希望包含參數(shù)probability=True。
讓我們?cè)谠疾黄胶鈹?shù)據(jù)集上使用Penalized-SVM訓(xùn)練模型：
- # load library
- from sklearn.svm import SVC
- # we can add class_weight='balanced' to add panalize mistake
- svc_model = SVC(class_weight='balanced', probability=True)
- svc_model.fit(x_train, y_train)svc_predict = svc_model.predict(x_test)# check performanceprint('ROCAUC score:',roc_auc_score(y_test, svc_predict))
- print('Accuracy score:',accuracy_score(y_test, svc_predict))
- print('F1 score:',f1_score(y_test, svc_predict))
10.更改算法
盡管在每個(gè)機(jī)器學(xué)習(xí)問題中，嘗試各種算法都是一個(gè)很好的經(jīng)驗(yàn)法則，但是對(duì)于不平衡的數(shù)據(jù)集而言，這尤其有利。
決策樹經(jīng)常在不平衡的數(shù)據(jù)上表現(xiàn)良好。在現(xiàn)代機(jī)器學(xué)習(xí)中，樹集成(隨機(jī)森林，梯度增強(qiáng)樹等)幾乎總是勝過單個(gè)決策樹，因此我們將直接跳到：
基于樹的算法通過學(xué)習(xí) if / else 問題的層次結(jié)構(gòu)來工作。這可以強(qiáng)制解決兩個(gè)類。
- # load library
- from sklearn.ensemble import RandomForestClassifier
- rfc = RandomForestClassifier()# fit the predictor and targetrfc.fit(x_train, y_train)# predictrfc_predict = rfc.predict(x_test)# check performanceprint('ROCAUC score:',roc_auc_score(y_test, rfc_predict))
- print('Accuracy score:',accuracy_score(y_test, rfc_predict))
- print('F1 score:',f1_score(y_test, rfc_predict))
欠采樣的優(yōu)點(diǎn)和缺點(diǎn)
優(yōu)點(diǎn)
- 當(dāng)訓(xùn)練數(shù)據(jù)集很大時(shí)，它可以通過減少訓(xùn)練數(shù)據(jù)樣本的數(shù)量來幫助改善運(yùn)行時(shí)間和存儲(chǔ)問題。
缺點(diǎn)
- 它可以丟棄可能有用的信息，這對(duì)于構(gòu)建規(guī)則分類器可能很重要。
- 通過隨機(jī)欠采樣選擇的樣本可能是有偏差的樣本。可能導(dǎo)致實(shí)際測(cè)試數(shù)據(jù)集的結(jié)果不準(zhǔn)確。
過采樣的優(yōu)缺點(diǎn)
優(yōu)點(diǎn)
- 與欠采樣不同，此方法不會(huì)導(dǎo)致信息丟失。
- 在抽樣條件下表現(xiàn)更佳
缺點(diǎn)
- 由于它復(fù)制了少數(shù)群體事件，因此增加了過度擬合的可能性。
你可以在我的GitHub存儲(chǔ)庫中檢查代碼的實(shí)現(xiàn)。
https://github.com/benai9916/Handle-imbalanced-data/tree/master
結(jié)論
總而言之，在本文中，我們已經(jīng)看到了處理數(shù)據(jù)集中的類不平衡的各種技術(shù)。處理不平衡數(shù)據(jù)時(shí)，實(shí)際上有很多方法可以嘗試。希望本文對(duì)你有所幫助。
