[[439096]]

英國(guó)《經(jīng)濟(jì)學(xué)人》雜志在2017年宣布數(shù)據(jù)已經(jīng)取代石油，成為了世界上最有價(jià)值的資源。各行業(yè)組織開始在數(shù)據(jù)和分析方面加大投資。但與石油一樣，數(shù)據(jù)和分析也有其陰暗面。

根據(jù)IDG公司發(fā)布的《2021年CIO狀況報(bào)告》，39%的IT領(lǐng)導(dǎo)者表示，2021年的數(shù)據(jù)分析將推動(dòng)其企業(yè)的大部分IT投資，高于2020年的37%。從機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)的分析和行動(dòng)中獲得的見解可以為企業(yè)提供競(jìng)爭(zhēng)優(yōu)勢(shì)，但如果出錯(cuò)可能會(huì)在聲譽(yù)、收入甚至人身安全方面帶來(lái)巨大的損失。

了解數(shù)據(jù)及其表達(dá)的信息很重要，企業(yè)了解采用的工具、數(shù)據(jù)并牢記企業(yè)的價(jià)值觀也很重要。

以下是過(guò)去10年來(lái)一些令人關(guān)注的分析和人工智能錯(cuò)誤，以說(shuō)明可能出現(xiàn)的問(wèn)題。

1.Zillow公司由于算法問(wèn)題損失慘重，并裁減25%的員工

2021年11月，在線房地產(chǎn)服務(wù)商Zillow公司告訴該公司股東，將在未來(lái)的幾個(gè)季度縮減其Zillow Offers業(yè)務(wù)規(guī)模，并裁減25%的員工(約2000名)。Zillow公司面臨的困境是其用于預(yù)測(cè)房?jī)r(jià)的機(jī)器學(xué)習(xí)算法中的錯(cuò)誤率造成的。

Zillow Offers是一個(gè)應(yīng)用程序，該公司根據(jù)其機(jī)其器學(xué)習(xí)算法“Zestimate”得出的房屋價(jià)值對(duì)房產(chǎn)進(jìn)行報(bào)價(jià)評(píng)估。該公司當(dāng)時(shí)的想法是翻修這些房產(chǎn)并快速出售進(jìn)行周轉(zhuǎn)。但是Zillow公司的一位發(fā)言人表示，其算法的平均錯(cuò)誤率為1.9%，而對(duì)于非市場(chǎng)住宅，錯(cuò)誤率可能更高，高達(dá)6.9%。

據(jù)美國(guó)有線電視新聞網(wǎng)報(bào)道，自從2018年4月推出以來(lái)，Zillow公司采用Zillow Offers購(gòu)買了27000套房屋，但一直到2021年9月底僅售出17000套。新冠疫情和房屋裝修勞動(dòng)力短缺等黑天鵝事件導(dǎo)致了該算法在準(zhǔn)確性方面出現(xiàn)了問(wèn)題。

Zillow表示，該算法導(dǎo)致該公司以更高的價(jià)格購(gòu)買房屋，導(dǎo)致該公司的資產(chǎn)到2021年第三季度減少了3億400萬(wàn)美元。

在與投資者召開的電話會(huì)議上，Zillow公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官RichBarton表示可能會(huì)調(diào)整算法，但面臨的風(fēng)險(xiǎn)太大。

2.英國(guó)公共衛(wèi)生部(PHE)因超出電子表格數(shù)據(jù)限制而丟失了數(shù)千例新冠病毒病例

2020年10月，負(fù)責(zé)統(tǒng)計(jì)COVID-19感染病例的英國(guó)公共衛(wèi)生部(PHE)透露，在今年9月25日至10月2日期間，有將近16000例冠狀病毒病例沒有報(bào)告。其罪魁禍?zhǔn)资鞘裁?其原因是Microsoft公司的辦公軟件Excel表格的數(shù)據(jù)限制。

英國(guó)公共衛(wèi)生部(PHE)使用自動(dòng)化流程將COVID-19陽(yáng)性實(shí)驗(yàn)室結(jié)果作為CSV文件傳輸?shù)綀?bào)告儀表板和聯(lián)系人跟蹤使用的Excel模板中。不幸的是，Excel電子表格每個(gè)工作表最多只能有1048576行和16384列。此外，其表格是按列而不是按行來(lái)列出案例。當(dāng)案例超過(guò)16384列的限制時(shí)，Excel會(huì)刪除底部的15841條記錄。

雖然這一故障并沒有影響接受病毒檢測(cè)的民眾收到他們的檢測(cè)結(jié)果，但它確實(shí)阻礙了接觸者追蹤工作，使英國(guó)國(guó)家衛(wèi)生服務(wù)系統(tǒng)(NHS)更難識(shí)別和通知與受感染患者有密切接觸的個(gè)人。英國(guó)公共衛(wèi)生部(PHE)臨時(shí)首席執(zhí)行官M(fèi)ichael Brodie在10月4日的一份聲明中表示已經(jīng)迅速解決了這個(gè)問(wèn)題，并將所有記錄立即轉(zhuǎn)移到NHS Test and Trace接觸者追蹤系統(tǒng)中。

英國(guó)公共衛(wèi)生部(PHE)實(shí)施了一項(xiàng)“快速緩解措施”，可以拆分大型Excel文件，并對(duì)所有系統(tǒng)進(jìn)行了全面的端到端審查，以防止將來(lái)發(fā)生類似事件。

3.美國(guó)的醫(yī)療保健算法無(wú)法標(biāo)記黑人患者

2019年發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究表明，美國(guó)各地的醫(yī)院和保險(xiǎn)公司使用一種醫(yī)療保健預(yù)測(cè)算法來(lái)識(shí)別需要“高風(fēng)險(xiǎn)護(hù)理管理”計(jì)劃的患者，但該算法無(wú)法挑出黑人患者。

這個(gè)高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級(jí)保健監(jiān)測(cè)，以防止出現(xiàn)嚴(yán)重并發(fā)癥。但該算法更傾向于推薦白人患者參與這些項(xiàng)目。

這項(xiàng)研究的研究人員認(rèn)為，可能有幾個(gè)因素造成了影響。首先，有色人種的收入可能較低，即使有保險(xiǎn)，他們也不太可能獲得醫(yī)療服務(wù)。而隱性偏見也可能導(dǎo)致有色人種接受低質(zhì)量的護(hù)理服務(wù)。

雖然這項(xiàng)研究沒有提到算法或開發(fā)商的名字，但研究人員表示，正在與開發(fā)人員合作解決這個(gè)問(wèn)題。

4.數(shù)據(jù)集訓(xùn)練微軟聊天機(jī)器人發(fā)布種族主義推文

2016年3月，微軟公司了解到，使用Twitter交互作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會(huì)產(chǎn)生令人沮喪的結(jié)果。

微軟公司在社交媒體平臺(tái)上推出了人工智能聊天機(jī)器人Tay。該公司將其描述為“對(duì)話式理解”的一個(gè)實(shí)驗(yàn)。其想法是讓聊天機(jī)器人扮演一個(gè)十幾歲女孩的角色，并使用機(jī)器學(xué)習(xí)和自然語(yǔ)言處理相結(jié)合的方式通過(guò)Twitter與用戶互動(dòng)。微軟公司采用匿名的公共數(shù)據(jù)預(yù)先編寫的材料植入聊天機(jī)器人的應(yīng)用程序中，然后讓它從社交網(wǎng)絡(luò)上的互動(dòng)中學(xué)習(xí)和發(fā)展。

在16小時(shí)內(nèi)，這個(gè)聊天機(jī)器人發(fā)布了95000多條推文，這些推文迅速充斥了具有明顯的種族主義、厭女主義和反猶太主義的內(nèi)容。微軟公司很快停止了這項(xiàng)服務(wù)進(jìn)行調(diào)整，并最終取消了這項(xiàng)服務(wù)。

微軟公司研究與孵化公司副總裁Peter Lee在此次事件發(fā)生之后在微軟官方博客上的一篇文章中寫道，“我們對(duì)來(lái)自Tay的無(wú)意冒犯和傷害的推文深表歉意，這些推文并不代表我們的觀點(diǎn)，也不代表我們?cè)O(shè)計(jì)Tay的本意。”

Lee指出，微軟公司于2014年推出了Tay的前身小冰，在Tay發(fā)布前的兩年內(nèi)，小冰已經(jīng)成功與4000多萬(wàn)人進(jìn)行了對(duì)話。但微軟公司沒有考慮到的是，很多Twitter用戶會(huì)立即向Tay發(fā)布種族主義和厭惡女性的評(píng)論。該機(jī)器人很快從這些推文中學(xué)習(xí)并將其納入自己的推文中。

他寫道，“雖然我們已經(jīng)為人工智能系統(tǒng)的多種類型的濫用做好了準(zhǔn)備，但我們疏忽這一特定的攻擊。因此，Tay在推特上發(fā)布了極不恰當(dāng)并且應(yīng)受譴責(zé)的文字和圖片。”

5.亞馬遜人工智能招聘工具只推薦男性

像許多大公司一樣，亞馬遜公司渴望能夠幫助其人力資源部門篩選最佳應(yīng)聘者的工具。2014年，亞馬遜公司希望開發(fā)基于人工智能的招聘軟件來(lái)做到這一點(diǎn)。但出現(xiàn)了一個(gè)問(wèn)題：該系統(tǒng)傾向選擇男性應(yīng)聘者。亞馬遜公司于2018年取消了該項(xiàng)目。

亞馬遜公司的這個(gè)人工智能招聘系統(tǒng)給應(yīng)聘者的星級(jí)評(píng)分從1到5。但人工智能系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是根據(jù)提交給亞馬遜公司的10年簡(jiǎn)歷進(jìn)行訓(xùn)練的——其中大部分簡(jiǎn)歷來(lái)自男性。由于這些訓(xùn)練數(shù)據(jù)，招聘系統(tǒng)開始對(duì)簡(jiǎn)歷中包含“女性”一詞的短語(yǔ)進(jìn)行降分處理。

亞馬遜公司當(dāng)時(shí)表示，該公司招聘人員從未使用該工具來(lái)評(píng)估應(yīng)聘者。該公司試圖對(duì)該工具進(jìn)行調(diào)整，試圖使其保持中立，但最終決定無(wú)法保證它不會(huì)學(xué)習(xí)其他歧視性的應(yīng)聘者分類方法，最終取消了這個(gè)項(xiàng)目。

6.Target公司的分析項(xiàng)目侵犯隱私

2012年，零售巨頭Target公司的一個(gè)分析項(xiàng)目展示了可以從他們的數(shù)據(jù)中了解多少客戶。根據(jù)《紐約時(shí)報(bào)》的報(bào)道，2002年，Target公司的營(yíng)銷部門想知道如何確定客戶是否懷孕。一個(gè)預(yù)測(cè)分析項(xiàng)目開展了一系列調(diào)查，該項(xiàng)目將導(dǎo)致零售商無(wú)意中向一個(gè)十幾歲女孩的家人透露她已經(jīng)懷孕。而此次事件導(dǎo)致大量文章和營(yíng)銷博客引用，并作為侵犯隱私的一個(gè)典型案例。

Target公司的營(yíng)銷部門希望確定懷孕的人群，是因?yàn)槿藗冊(cè)谏械哪承r(shí)期(懷孕是最重要的時(shí)期之一)最有可能從根本上改變他們的購(gòu)買習(xí)慣。例如，如果Target公司能夠在這段時(shí)間內(nèi)接觸到這些客戶，它可以讓這些客戶有更多新的行為，并讓他們轉(zhuǎn)向Target購(gòu)買食品、服裝或其他商品。

與所有其他大型零售商一樣，Target公司一直在通過(guò)購(gòu)物者代碼、信用卡、調(diào)查等方式收集客戶數(shù)據(jù)。它將這些數(shù)據(jù)與它購(gòu)買的人口統(tǒng)計(jì)數(shù)據(jù)和第三方數(shù)據(jù)混合在一起。通過(guò)分析所有這些數(shù)據(jù)，Target公司的分析團(tuán)隊(duì)可以確定其銷售的大約25種產(chǎn)品可以一起進(jìn)行分析，從而得出“懷孕預(yù)測(cè)”分?jǐn)?shù)。然后，營(yíng)銷部門可以用優(yōu)惠券和營(yíng)銷信息篩選出得分較高的客戶。

其他研究表明，研究客戶的生育狀態(tài)可能會(huì)讓一些客戶感到毛骨悚然。根據(jù)《泰晤士報(bào)》報(bào)道，該公司并沒有放棄其有針對(duì)性的營(yíng)銷活動(dòng)，而是在他們知道孕婦不會(huì)購(gòu)買的東西的廣告中混入一些廣告，其中包括剪草機(jī)廣告和尿布廣告，以使客戶認(rèn)為其廣告組合是隨機(jī)的。