譯者 | 布加迪

審校 | 重樓

您是否需要確定自己的數據集存在性別或種族方面的偏誤？是否需要確保所使用的機器學習模型沒有偏誤，即使數據有偏誤？如果您對上述問題的回答是肯定的，那么這篇文章就適合您閱讀。

偏誤簡介

偏誤是指有意識或無意識地傾向于某一特定群體，通常排斥其他人群。對于屬于某些種族、民族、性別、能力和宗教群體的人來說，偏誤會導致歧視，并在機會和成功方面造成系統性障礙。在有偏誤的世界中生成的數據本身就是有偏誤的。創建和部署機器學習模型總是伴隨著顯著的偏誤風險。因此，機器學習解決方案環境應該提供人類可用的解釋以檢測和糾正偏誤。

問責制和可訪問性在處理偏誤方面至關重要。需要問責制確保任何注意到偏誤的人都能采取行動。生產環境中機器學習系統的可訪問性便于及時處理偏誤。審計日志可以部分解決問責制。通過自動化和易于使用的UI/UX降低機器學習的進入門檻有助于提高可訪問性。

本文將解釋如何通過針對數據和機器學習模型的系統來檢測和處理與數據相關的偏誤和與模型相關的偏誤。按照定義，與數據相關的偏誤是數據集中已經存在的偏誤。比如在客戶流失預測用例中，90%的數據集可能含有白人客戶，導致數據集存在種族偏誤。按照定義，與模型相關的偏誤指模型內生成的偏誤。在這種情況下，由于白人占人口的90%，旨在盡量減小誤差的模型可以更好地預測白人的流失，從而導致模型出現種族偏誤。若使用這種模型采取行動以防止客戶流失，會導致非白人群體得不到充足的服務。

數據偏誤的檢測

當數據集的一些變量值比其他變量值更頻繁地出現時，就會出現第一種、也是最常見的數據相關偏誤（代表偏誤）。比如在臨床試驗中，90%的參與者可能是男性。

通過重新采樣數據以平等地代表不同的群體，可以部分地處理代表偏誤。然而，當代表性不足的群體的信息和細節較少時，機器學習模型對這個群體的學習可能會較少。

當存在與目標特征高度相關的變量時，也會出現與數據相關的偏誤。為了根據某些敏感特征檢測偏誤，可以計算出特征相關性（即每列相對目標特征的相關性）。用戶可以忽略可能導致偏誤的高度相關的敏感特征，比如性別或年齡。請注意，線性相關測量可能不適用于同時含有離散特征和連續特征（即非線性相關性）的數據集。使用歸一化互信息有助于解決這個問題。

即使去除了敏感的相關特征，也可能存在與那些敏感特征相關的其他特征。比如說，郵政編碼可能與種族高度相關。即使從模型構建中去除種族，保留郵政編碼仍然可能導致有偏誤的模型。根據變量之間的相關性對變量進行聚類或分組可能有助于檢測和去除這類相關特征。檢測復雜數據偏誤的另一種方法是為每個敏感特征創建機器學習模型。應該忽略機器學習模型中對這些敏感特征的預測貢獻最大的特征。

機器學習模型偏誤的檢測

對于與模型相關的偏誤，要同時考慮機器學習模型的輸入和模型的輸出預測。當數據集不平衡時，敏感特征可能與目標特征過于相關而導致偏誤。一些機器學習平臺在構建模型時分配自動類權重，以強調未充分代表的類。

機器學習模型解釋也有助于檢測和預防與模型相關的偏誤。存在局部或全局特征的重要性，比如SHAP或LIME，提供了關于每個特征的值如何影響模型結果的信息。比如說，如果年齡增加導致信用評分預測降低，那么模型具有與年齡相關的偏誤。然而，很難確定偏誤在模型中的確切位置。可以使用易于解釋的代理模型解釋，比如線性模型或決策樹。代理模型近似并解釋用于決策制定的底層機器學習模型。它們允許更細粒度地檢測偏誤。決策樹代理模型包含模型預測的自動生成的微分段，每個類似一個規則（比如說，如果代理類型是老年人，性別是男性，那么該客戶就會流失）。

檢測到機器模型上的偏誤（或任何其他問題）后，行動的容易程度和速度決定了解決集訓的速度有多快。創建并共享數據和模型解釋可以幫助用戶更快地采取行動。

結語

你可以系統地檢測和預防數據和機器學習模型中的偏誤。比如通過雇用來自不同背景的用戶，并為他們提供人工智能，不僅有助于更好地檢測和預防偏誤，還有助于糾正偏誤檢測系統或機器學習模型失敗或被人做手腳的情況。

原文標題：How To Handle Data And Machine Learning Bias In Production，作者：Zehra Cataltepe