[[204132]]

序言

XGBoost效率很高，在Kaggle等諸多比賽中使用廣泛，并且取得了不少好成績。為了讓公司的算法工程師，可以更加方便的使用XGBoost，我們將XGBoost更好地與公司已有的存儲資源和計算平臺進行集成，將數(shù)據(jù)預處理、模型訓練、模型預測、模型評估及可視化、模型收藏及分享等功能，在Tesla平臺中形成閉環(huán)，同時，數(shù)據(jù)的流轉實現(xiàn)了與TDW完全打通，讓整個機器學習的流程一體化。

XGBoost介紹

XGBoost的全稱為eXtreme Gradient Boosting，是GBDT的一種高效實現(xiàn)，XGBoost中的基學習器除了可以是CART（gbtree）也可以是線性分類器（gblinear）。

什么是GBDT？

• GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一種迭代的決策樹算法，該算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和SVM一起被認為是泛化能力（generalization)較強的算法。GBDT的核心在于，每一棵樹學的是之前所有樹結論和的殘差，這個殘差就是一個加預測值后能得真實值的累加量。與隨機森林不同，隨機森林采用多數(shù)投票輸出結果；而GBDT則是將所有結果累加起來，或者加權累加起來。

XGBoost對GBDT的改進

1 . 避免過擬合

目標函數(shù)之外加上了正則化項整體求***解，用以權衡目標函數(shù)的下降和模型的復雜程度，避免過擬合。基學習為CART時，正則化項與樹的葉子節(jié)點的數(shù)量T和葉子節(jié)點的值有關。

2 . 二階的泰勒展開，精度更高

不同于傳統(tǒng)的GBDT只利用了一階的導數(shù)信息的方式，XGBoost對損失函數(shù)做了二階的泰勒展開，精度更高。

第t次的損失函數(shù)：

對上式做二階泰勒展開( g為一階導數(shù)，h為二階導數(shù))：

3 . 樹節(jié)點分裂優(yōu)化

選擇候選分割點針對GBDT進行了多個優(yōu)化。正常的樹節(jié)點分裂時公式如下：

XGBoost樹節(jié)點分裂時，雖然也是通過計算分裂后的某種值減去分裂前的某種值，從而得到增益。但是相比GBDT，它做了如下改進：

• 通過添加閾值gamma進行了剪枝來限制樹的生成
• 通過添加系數(shù)lambda對葉子節(jié)點的值做了平滑，防止過擬合。
• 在尋找***分割點時，考慮傳統(tǒng)的枚舉每個特征的所有可能分割點的貪心法效率太低，XGBoost實現(xiàn)了一種近似的算法，即：根據(jù)百分位法列舉幾個可能成為分割點的候選者，然后從候選者中根據(jù)上面求分割點的公式計算找出***的分割點。
• 特征列排序后以塊的形式存儲在內存中，在迭代中可以重復使用；雖然boosting算法迭代必須串行，但是在處理每個特征列時可以做到并行。

整體上，通過上述的3個優(yōu)化，加上其易用性，不太需要編程，XGBoost目前是GBDT體系中***的工具。但是值得留意的是，當數(shù)據(jù)量很大，尤其是維度很高的情況下，XGBoost的性能會下降較快，這時推進大家可以試試騰訊自己的Angel，其GBDT比XGBoost性能更好噢

TDW體系中的XGBoost介紹

XGBoost在TDW體系中以兩種形式存在

提供出了拖拽式的組件，來簡化用戶使用成本

提供出了maven依賴，來讓用戶享受Spark Pipeline的流暢

1. Tesla平臺上的3個組件：

• XGBoost-spark-ppc組件（基于社區(qū)版0.7，以Spark作業(yè)形式運行在PowerPC機型的集群上）
• XGBoost-spark-x86組件（基于社區(qū)版0.7，以Spark作業(yè)形式運行在x86機型的集群上）
• XGBoost-yarn組件（基于社區(qū)版0.4，以Yarn作業(yè)形式運行在x86機型的集群上）

目前來看，XGBoost的ppc版本，性能比x86的好，建議大家優(yōu)先選擇。

2. 公司Maven庫中的3個依賴：

XGBoost4j-ppc（封裝社區(qū)版0.7的API，在PowerPC機型上進行的編譯）

XGBoost4j-x86（封裝社區(qū)版0.7的API，在x86機型上進行的編譯）

XGBoost4j-toolkit（封裝HDFS IO、TDW IO、Model IO等功能)

Tesla中的XGBoost-on-spark組件介紹

Tesla中XGBoost-on-spark組件根據(jù)集群的機型區(qū)分成：XGBoost-spark-ppc組件和XGBoost-spark-x86組件。將以前的XGBoost-yarn組件進行了升級，體現(xiàn)在了：

數(shù)據(jù)源之間的打通、作業(yè)調試更友好、IO方式更豐富、數(shù)據(jù)處理的上下游延伸更廣、model支持在線服務等方面。

1.數(shù)據(jù)源之間的打通

消除了不同HDFS集群上的權限問題

與TDW打通，數(shù)據(jù)流轉更順暢，開發(fā)成本更低

• 用戶可以不再編寫程序生成LibSVM格式的數(shù)據(jù)文件，而是通過Hive或者Spark SQL生成TDW特征表，通過選擇TDW特征表的某些列(selected_cols=1-2,4,8-10)，由XGBoost-on-spark組件后臺生成libsvm類型的輸入
• 可以針對TDW分區(qū)表，借助Tesla作業(yè)定時調度機制，可以進行XGBoost作業(yè)的例行化調度運行

2.作業(yè)調試更友好

以Spark作業(yè)的形式，而非直接的Yarn作業(yè)的形式運行，用戶對作業(yè)的運行情況更清楚

• 可以查看作業(yè)的進度
• 可以查看各節(jié)點上的日志信息

3.IO方式更豐富

輸入的數(shù)據(jù)集來源，可以為之前的HDFS上LibSVM格式的文件形式。也可以為一張TDW表，用戶通過選擇TDW表中的某些列，由XGBoost-on-spark組件在后臺生成LibSVM格式的輸入。

訓練階段增加了特征重要度(weight、gain、cover)的輸出、以及3種類型model的輸出：文本格式（用戶可以直接查看）、LocalFile的二進制格式（用戶可以下載到本地，利用python加載后在線預測）、HadoopFile的二進制格式（用戶可以在Tesla環(huán)境中，利用Spark加載后離線批量預測）

模型輸出的3種格式舉例

4 . 數(shù)據(jù)處理的上下游延伸更廣

與Tesla平臺深度整合

• 可以拖拽Tesla的組件：數(shù)據(jù)切分、模型評估，實現(xiàn)數(shù)據(jù)處理的上下游功能
• 可以利用Tesla的功能：參數(shù)替換、并發(fā)設置，進行批量調參

5 . model支持在線服務

可以利用Tesla的模型服務，進行模型導出、模型部署、在線預測

總結

XGBoost是機器學習的利器，雖然小巧，但是功能強大，以其被實戰(zhàn)檢驗過的高效，吸引了很多使用者。我們針對用戶痛點進行了諸多改進，實現(xiàn)了用戶在Tesla平臺中更加方便的使用，大大減少了用戶的開發(fā)成本，同時，我們也開放出了XGBoost API，讓邏輯復雜的業(yè)務可以在自身系統(tǒng)中嵌入xgBoost，更加直接的對接TDW系統(tǒng)。后續(xù)有進一步的需求，歡迎聯(lián)系Tesla團隊，我們將提供更好的機器學習和數(shù)據(jù)服務。

原文鏈接：http://t.cn/RpkWG7c

作者：張萌 

【本文是51CTO專欄作者“騰訊云技術社區(qū)”的原創(chuàng)稿件，轉載請通過51CTO聯(lián)系原作者獲取授權】

戳這里，看該作者更多好文