機器學習（ML）有可能通過利用大量數據進行預測洞察來改變醫療決策。然而，當這些模型在不能充分代表所有人口群體的數據集上進行訓練時，就會出現一個嚴重挑戰。預測疾病患者治療計劃的模型可以在主要包含男性患者的數據集上進行訓練。這可能會導致對女性患者的預測不準確。這種偏見可能會導致有害的建議，特別是對代表性不足的群體。

一種解決方案是調整或平衡訓練數據集，以確保所有子組都得到平等表示。然而，這種數據平衡方法增加了復雜性，也可能降低模型的整體性能。此外，這種方法可能需要訪問訓練組注釋，最終可能會刪除數據集的大部分。

麻省理工學院的研究人員采取了不同的方法。他們開發了一種新技術，可以識別和刪除訓練數據集中對模型在代表性不足的群體中表現不佳影響最大的特定點。

這種技術沒有假設每個數據點對模型的性能都有同等的貢獻，而是認識到某些點對模型有偏見的預測產生了不成比例的影響。

研究人員的數據模型去偏（D3M）首先使用了一種稱為最差組誤差的指標，該指標衡量模型在某些亞群上的表現有多差。然后，該模型通過使用他們稱之為數據建模的框架來提高性能，該框架將預測近似為列車數據的簡單函數。這使他們能夠量化單個數據點如何影響最差的團隊績效。

使用這種方法，研究人員可以識別出最有問題的數據點。然而，這種模型并沒有刪除大部分數據，而是選擇性地只刪除最有害的數據。

在代表性不足的數據缺失或未標記的情況下，D3M的方法仍然可以通過分析數據本身來發現隱藏的偏見，使其成為提高公平性的有力工具，即使數據有限或未標記。

麻省理工學院電氣工程與計算機科學（EECS）研究生、在arXiv上發表的一篇論文的共同主要作者Kimia Hamidieh說：“許多其他試圖解決這個問題的算法都假設每個數據點都和其他數據點一樣重要。在這篇論文中，我們證明了這一假設是不正確的。我們的數據集中有一些特定的點導致了這種偏見，我們可以找到這些數據點，刪除它們，并獲得更好的性能。”

Hamidieh與來自麻省理工學院的Saachi Jain、Kristian Georgiev、Andrew Ilyas以及資深作者Marzyeh Ghassemi和Aleksander Madrt共同撰寫了這篇論文。這項研究將在神經信息處理系統會議上發表。

研究人員的新技術建立在他們之前的工作基礎上，他們開發了一種名為TRAK的方法，該方法可以為特定的模型輸出確定最有影響力的訓練示例。

麻省理工學院的團隊聲稱，D3M方法提高了最差的組準確率，同時比傳統的數據平衡方法減少了約20000個訓練樣本。

Hamidieh說：“這是任何人在訓練機器學習模型時都可以使用的工具。他們可以查看這些數據點，看看它們是否與他們試圖教授模型的能力相一致。”

研究人員計劃驗證這種方法，并通過未來的人體研究進一步發展它。他們的目標之一是使該方法易于使用，便于醫療保健專業人員使用，從而可以在現實環境中部署。

根據該論文的合著者Ilyas的說法，“當你有工具可以批判性地查看數據并找出哪些數據點會導致偏見或其他不良行為時，它就為你構建更公平、更可靠的模型邁出了第一步。”

這項研究的結果可能有助于解決人工智能和機器學習模型的一個長期問題：它們的有效性取決于它們所訓練的數據。如果可以通過可擴展的算法識別和刪除降低人工智能模型整體性能的數據點，特別是對于大型數據集，這可能會改變游戲規則，提高各種應用程序的模型準確性和可靠性。