Error Analysis 使用機(jī)器學(xué)習(xí)技術(shù)，助數(shù)據(jù)科學(xué)家更好地了解模型錯誤模式。

在 2020 年 5 月的微軟 Build 大會上，微軟推出了三個響應(yīng)式的 AI(Responsible AI，RAI)工具包，這三個工具分別是 InterpretML、Fairlearn 和 SmartNoise。這些工具包與微軟 Azure 機(jī)器學(xué)習(xí)緊密集成，通過這些工具可以使機(jī)器學(xué)習(xí)領(lǐng)域的數(shù)據(jù)科學(xué)家能夠理解模型預(yù)測、評估公平性并保護(hù)敏感數(shù)據(jù)。

在這個工具系列的基礎(chǔ)上，微軟宣布推出新的功能，通過新的 Error Analysis 工具包調(diào)試模型中的不準(zhǔn)確之處，并在 SmartNoise 中使用合成數(shù)據(jù)提升隱私性。

使用 Error Analysis 識別和診斷模型的不精確性

在分析機(jī)器學(xué)習(xí)模型時，我們常常關(guān)注精度等總體指標(biāo)。 然而，模型的準(zhǔn)確率在不同的數(shù)據(jù)子群中往往并不統(tǒng)一，某些輸入條件的交叉點會導(dǎo)致模型更頻繁地失敗。為了提高精度，我們需要挖掘和評估這些不同的錯誤來源。從歷史上看，解決這些問題需要手動操作，并且十分耗時。

Error Analysis，這是微軟響應(yīng)式 AI 工具包中的最新成員，并且完全開源。Error Analysis 使用機(jī)器學(xué)習(xí)按照有意義的維度對模型錯誤進(jìn)行分區(qū)，以幫助開發(fā)者更好地理解錯誤中的模式。此舉可以能夠快速識別出誤差較高的子群，并直觀地診斷出這些錯誤背后的根本原因。

雖然這是一個剛剛才開源的工具，但 Error Analysis 在微軟 AI 開發(fā)中卻扮演著舉足輕重的作用。Error Analysis 在 2018 年開始作為一個研究項目，在 2019 年就與微軟混合現(xiàn)實團(tuán)隊密切合作，使該工具成為內(nèi)部 AI 基礎(chǔ)設(shè)施的一部分。開源版本能夠?qū)崿F(xiàn)是由 Azure 機(jī)器學(xué)習(xí)中的 RAI 工具團(tuán)隊推動的。Error Analysis 連同其他 RAI 工具包也將在 2021 年中期歸入 OSS 和 Azure 機(jī)器學(xué)習(xí)中。

本文轉(zhuǎn)自O(shè)SCHINA

本文標(biāo)題：微軟開源 AI 診斷工具 Error Analysis

本文地址：https://www.oschina.net/news/131059/enabling-responsible-ai-with-new-open-source-capabilities