譯者 | 布加迪

審校 | 重樓

這篇實用指南幫助你從概念驗證邁入到生產就緒的機器學習。

構建能夠切實解決實際問題的機器學習模型不僅僅需要在測試時取得高準確率得分，更需要構建能夠在生產環境中持續運行的系統。

本文介紹了七個實用技巧，幫助你專注于構建能夠提供可靠業務價值而非僅僅追求出色指標的模型。讓我們開始吧！

1. 從問題而非算法入手。

機器學習項目中最常見的錯誤是，在理解所要解決的問題之前一味盯著某種特定技術。在開始為梯度提升模型或神經網絡編寫代碼或開始進行超參數調優之前，請花大量時間與將實際使用模型的人進行溝通。

實踐操作如下：

• 跟蹤現有流程至少一周。
• 了解誤報和漏報帶來的實際成本。
• 規劃出模型將適用的整個工作流程。
• 明確“足夠好”的性能對于模型和所解決的問題意味著什么。

一個能發現95%的欺詐行為，卻將20%的合法交易標記為可疑交易的欺詐檢測模型在數學層面上可能令人印象深刻，但在業務操作上毫無用處。最好的模型常常是最簡單的、能夠可靠地推動業務發展的模型。

2. 將數據質量視為最重要的特性。

模型的好壞取決于你的數據，但大多數團隊將80%的時間花在算法上、將20%的時間花在數據質量上。這個比率應該倒過來。干凈、有代表性、易于理解的數據每次都勝過那些用劣質數據訓練的花哨算法。

盡早養成以下習慣：

• 創建自動隨每個管道運行的數據質量檢查。
• 跟蹤生產環境中的數據漂移指標。
• 跟蹤數據源和轉換。
• 關鍵統計屬性發生變化時發出警報。

切記：使用高質量數據訓練的線性回歸通常勝過使用不一致、有偏差或過時的信息訓練的深度神經網絡。致力于搭建數據基礎設施，就像貴公司依賴它一樣，因為確實依賴它。

3. 一開始就為確保可解釋性而設計。

在學習機器學習時，“黑盒”模型可能效果很好。但對于生產環境而言，添加可解釋性始終是更明智的做法。當你的模型做出影響重大的錯誤預測時，你需要了解其原因以及如何避免。

實用的可解釋性策略包括如下：

• 使用SHAP或LIME等歸因方法來解釋單個預測。
• 嘗試使用適用于不同算法的模型無關解釋。
• 創建決策樹或基于規則的模型作為可解釋的基準。
• 用簡單明了的語言記錄驅動預測的特征。

這不僅僅關乎合規或調試。可解釋的模型可以幫助你發現有關問題領域的新見解，并獲得利益相關者的信任。能夠解釋其推理過程的模型可以系統地予以改進。

4. 針對真實場景而不僅僅是測試集進行驗證。

傳統的訓練/驗證/測試拆分常常忽略最重要的問題：當條件發生變化時，這個模型是否有效？真實世界的部署涉及數據分布變化、極端情況以及你精挑細選的測試集從未預料到的對抗性輸入。

除了基本驗證外，還應該：

• 使用來自不同時間段、地域或用戶群的數據進行測試。
• 模擬真實的極端情況和故障模式。
• 使用對抗性驗證等技術來檢測數據集偏移。
• 創建壓力測試，使你的模型不僅限于面對正常的運行條件。

如果你的模型面對上個月的數據表現良好，但面對今天的流量模式卻失敗了，那么它實際上毫無幫助。一開始就應該將穩健性測試納入到你的驗證流程。

5. 部署前實施監控。

大多數機器學習團隊將監控視為事后才考慮的環節，但生產模型的性能會悄無聲息地、不可預測地下降。等到你通過業務衡量指標注意到性能問題時，可能已經造成了重大損失。

必要的監控組件包括如下：

• 輸入數據分布跟蹤（在漂移影響預測之前檢測漂移）。
• 預測置信度評分和異常值檢測。
• 持續跟蹤模型性能衡量指標。
• 業務衡量指標相關性分析。
• 異常行為自動警報。

在開發期間而不是在部署后搭建監控基礎設施。你的監控系統應該能夠在用戶發現問題之前檢測到問題，讓你有時間在業務受到影響之前重新訓練或回滾。

6. 規劃模型更新和重新訓練。

模型的性能并非始終一致。用戶行為、市場形勢和數據模式都會發生變化。除非你采用系統性的方法使模型保持最新狀態，否則今天運行良好的模型會隨著時間的推移逐漸變得不那么有用。

構建可持續的更新流程需要做以下工作：

• 自動化數據管道更新和特征工程。
• 根據性能下降閾值創建重新訓練時間表。
• 實施模型更新的A/B 測試框架。
• 維護模型、數據和代碼的版本控制。
• 規劃增量更新和完整模型重建。

目的并非創建一個完美的模型，而是創建一個能夠適應不斷變化的條件并保持可靠性的系統。模型維護并非一次性的工程任務。

7. 為業務影響而非衡量指標而優化。

準確性、精確率和召回率雖然有用，但它們并非業務衡量指標。最有用的機器學習模型是針對可衡量的業務成果進行優化的：增加收入、降低成本、提高客戶滿意度或加快決策速度。

將技術衡量指標與業務價值相結合：

• 根據業務成果定義成功標準。
• 當不同的錯誤導致不同的業務成本時，使用成本敏感型學習。
• 長期跟蹤模型的投資回報率和成本效益。
• 在模型預測和業務結果之間建立反饋循環。

能夠將業務流程改進10%且準確率達到85%的模型其價值遠高于準確率達到99%卻并不改進業務流程的模型。致力于構建能夠創造可衡量價值的系統，而不是只圖出色的基準分數。

結語

構建實用的機器學習模型不僅僅需要思考算法，更要思考整個系統生命周期。先要明確定義問題，致力于確保數據質量，為可解釋性和監控而設計，并始終以實際業務影響為目標進行優化。

最成功的機器學習從業者不一定是那些對尖端算法擁有最深厚知識的人，而是能夠持續交付在生產環境中可靠運行的系統，并為其組織創造可衡量價值的人。

請記住：一個易于理解、得到適當監控且符合業務需求的簡單模型總是比一個在開發環境中完美運行，但在實際環境中莫名失敗的復雜模型更有幫助。

原文標題：Tips for Building Machine Learning Models That Are Actually Useful，作者：Bala Priya C