這些“秘密武器”，讓你輕松躋身Kaggle前2%
大數(shù)據(jù)文摘出品
編譯：Conrad、Hope、云舟
Kaggle的比賽真的好玩到令人上癮。在享受比賽的過程中，如果比賽成績能夠名列前茅那就非常棒了~~~
一位名叫Abhay Pawar的小哥開發(fā)了一些特征工程和機器學(xué)習(xí)建模的標(biāo)準(zhǔn)方法。這些簡單而強大的技術(shù)幫助他在Instacart Market Basket Analysis競賽中取得了前2%的成績。
下文是他以***人稱為小伙伴們分享他的技術(shù)經(jīng)驗。希望對你有所幫助。enjoy!
要構(gòu)建數(shù)值型連續(xù)變量的監(jiān)督學(xué)習(xí)模型，最重要的方面之一就是好好理解特征。觀察一個模型的部分依賴圖有助于理解模型的輸出是如何隨著每個特征變化而改變的。
但是，繪制的圖形是基于訓(xùn)練好的模型構(gòu)建的，這會引發(fā)一些問題。而如果我們直接用未經(jīng)學(xué)習(xí)的訓(xùn)練數(shù)據(jù)去作圖，我們就能更好理解這些數(shù)據(jù)的深層含義。因為這樣做能幫助我們進行：
- 特征理解
- 識別嘈雜特征(這是最有趣的!)
- 特征工程
- 特征重要性
- 特征調(diào)試
- 泄漏檢測與理解
- 模型監(jiān)控
為了方便大家使用，我把這些方法用Python做了一個包，叫做featexp。本文中，我們會利用它來進行特征探索。我們將使用來自Kaggle競賽“違約者預(yù)測”的數(shù)據(jù)集，競賽的任務(wù)是基于已有的數(shù)據(jù)預(yù)測債務(wù)違約者。
- featexp：https://github.com/abhayspawar/featexp
- Home Credit Default Risk：https://www.kaggle.com/c/home-credit-default-risk/
特征理解
如果因變量 (分析目標(biāo)) 是二分類數(shù)據(jù)，散點圖就不太好用了，因為所有點不是0就是1。針對連續(xù)型變量，數(shù)據(jù)點太多的話，會讓人很難理解目標(biāo)和特征之間的關(guān)系。但是，用featexp可以做出更加友好的圖像。讓我們試一下吧!
Featexp可以把一個數(shù)字特征，分成很多個樣本量相等的區(qū)間(X軸)。然后，計算出目標(biāo)的平均值 (Mean)，并繪制出左上方的圖像。在這里，平均值代表違約率。圖像告訴我們，年紀(jì) (DAYS_BIRTH) 越大的人，違約率越低。
這非常合理的，因為年輕人通常更可能違約。這些圖能夠幫助我們理解客戶的特征，以及這些特征是如何影響模型的。右上方的圖像表示每個區(qū)間內(nèi)的客戶數(shù)量。
識別嘈雜特征
嘈雜特征容易造成過擬合，分辨噪音一點也不容易。在featexp里，你可以跑一下測試集或者驗證集，然后對比訓(xùn)練集和測試集的特征趨勢，從而找出嘈雜的特征。
訓(xùn)練集和測試集特征趨勢的對比
為了衡量噪音影響程度，featexp會計算兩個指標(biāo)：
- 趨勢相關(guān)性 (從測試?yán)L圖中可見) ：如果一個特征在訓(xùn)練集和測試集里面表現(xiàn)出來的趨勢不一樣，就有可能導(dǎo)致過擬合。這是因為，模型從測試集里學(xué)到的一些東西，在驗證集中不適用。趨勢相關(guān)性可以告訴我們訓(xùn)練集和測試集趨勢的相似度，以及每個區(qū)間的平均值。上面這個例子中，兩個數(shù)據(jù)集的相關(guān)性達到了99%。看起來噪音不是很嚴(yán)重!
- 趨勢變化：有時候，趨勢會發(fā)生突然變化和反復(fù)變化。這可能就參入噪音了，但也有可能是特定區(qū)間內(nèi)有其他獨特的特征對其產(chǎn)生了影響。如果出現(xiàn)這種情況，這個區(qū)間的違約率就沒辦法和其他區(qū)間直接對比了。
下面這個特征，就是嘈雜特征，訓(xùn)練集和測試集沒有相同的趨勢：兩者相關(guān)性只有85%。有時候，可以選擇丟掉這樣的特征。
嘈雜特征的例子
拋棄相關(guān)性低的特征，這種做法在特征非常多、特征之間又充滿相關(guān)性的情況下比較適用。這樣可以減少過擬合，避免信息丟失。不過，別把太多重要的特征都丟掉了;否則模型的預(yù)測效果可能會大打折扣。同時，你也不能用重要性來評價特征是否嘈雜，因為有些特征既非常重要，又嘈雜得不得了。
用與訓(xùn)練集不同時間段的數(shù)據(jù)來做測試集可能會比較好。這樣就能看出來數(shù)據(jù)是不是隨時間變化的了。
Featexp里有一個 get_trend_stats() 函數(shù)，可以返回一個數(shù)據(jù)框 (Dataframe) ，顯示趨勢相關(guān)性和趨勢變化。
get_trend_stats()返回的數(shù)據(jù)框
現(xiàn)在，可以試著去丟棄一些趨勢相關(guān)性弱的特征了，看看預(yù)測效果是否有提高。
用趨勢相關(guān)性進行不同特征選擇得到的的AUC值
我們可以看到，丟棄特征的相關(guān)性閾值越高，排行榜(LB)上的AUC越高。只要注意不要丟棄重要特征，AUC可以提升到0.74。有趣的是，測試集的AUC并沒有像排行榜的AUC變化那么大。完整代碼可以在featexp_demo記事本里面找到。
featexp_demo：
https://github.com/abhayspawar/featexp/blob/master/featexp_demo.ipynb
特征工程
通過查看這些圖表獲得的見解，有助于我們創(chuàng)建更好的特征。只需更好地了解數(shù)據(jù)，就可以實現(xiàn)更好的特征工程。除此之外，它還可以幫助你改良現(xiàn)有特征。下面來看另一個特征EXT_SOURCE_1：
EXT_SOURCE_1的特征與目標(biāo)圖
具有較高EXT_SOURCE_1值的客戶違約率較低。但是，***個區(qū)間(違約率約8%)不遵循這個特征趨勢(上升并下降)。它只有-99.985左右的負(fù)值且人群數(shù)量較多。這可能意味著這些是特殊值，因此不遵循特征趨勢。幸運的是，非線性模型在學(xué)習(xí)這種關(guān)系時不會有問題。但是，對于像Logistic回歸這樣的線性模型，如果需要對特殊值和控制進行插值，就需要考慮特征分布，而不是簡單地使用特征的均值進行插補。
特征重要性
Featexp還可以幫助衡量特征的重要性。DAYS_BIRTH和EXT_SOURCE_1都有很好的趨勢。但是，EXT_SOURCE_1的人群集中在特殊值區(qū)間中，這表明它可能不如DAYS_BIRTH那么重要?；赬GBoost模型來衡量特征重要性，發(fā)現(xiàn)DAYS_BIRTH實際上比EXT_SOURCE_1更重要。
特征調(diào)試
查看Featexp的圖表，可以幫助你通過以下兩項操作來發(fā)現(xiàn)復(fù)雜特征工程代碼中的錯誤：
零方差特征只展現(xiàn)一個區(qū)間
- 檢查特征的人群分布是否正確。由于一些疏忽，我遇到過多次類似上面這樣的極端情況。
- 在查看這些圖之前，我總是會先做假設(shè)，假設(shè)特征趨勢會是什么樣子的。如果特征趨勢看起來不符合預(yù)期，可能暗示著存在某些問題。實際上，這個驗證趨勢假設(shè)的過程使機器學(xué)習(xí)模型更有趣了!
泄漏檢測
從目標(biāo)到特征的數(shù)據(jù)泄漏會導(dǎo)致過擬合。泄露的特征具有很高的特征重要性。要理解為什么在特征中會發(fā)生泄漏是很困難的，查看featexp圖像可以幫助理解這一問題。
在“Nulls”區(qū)間的特征違約率為0%，同時，在其他所有區(qū)間中的違約率為100%。顯然，這是泄漏的極端情況。只有當(dāng)客戶違約時，此特征才有價值。基于此特征，可能是因為一個故障，或者因為這個特征在違約者中很常見。了解泄漏特征的問題所在能讓你更快地進行調(diào)試。
理解為什么特征會泄漏
模型監(jiān)控
由于featexp可計算兩個數(shù)據(jù)集之間的趨勢相關(guān)性，因此它可以很容易地利用于模型監(jiān)控。每次我們重新訓(xùn)練模型時，都可以將新的訓(xùn)練數(shù)據(jù)與測試好的訓(xùn)練數(shù)據(jù)(通常是***次構(gòu)建模型時的訓(xùn)練數(shù)據(jù))進行比較。趨勢相關(guān)性可以幫助你監(jiān)控特征信息與目標(biāo)的關(guān)系是否發(fā)生了變化。
這些簡單的步驟總能幫助我在Kaggle或者實際工作中構(gòu)建更好的模型。用featexp，花15分鐘去觀察那些圖像，是十分有價值的：它會帶你一步步看清黑箱里的世界。
還有什么其他方法可以幫助我們對特征進行探索嗎?如果你有更棒的想法，歡迎發(fā)郵件跟我交流abhayspawar@gmail.com。感謝你的閱讀!
相關(guān)報道：
https://towardsdatascience.com/my-secret-sauce-to-be-in-top-2-of-a-kaggle-competition-57cff0677d3c
【本文是51CTO專欄機構(gòu)大數(shù)據(jù)文摘的原創(chuàng)文章，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
