IT之家 12 月 19 日消息，開發(fā)了 ChatGPT 的 OpenAI 公司日前宣布成立新的“防備（Preparedness）”團(tuán)隊(duì)，旨在監(jiān)控旗下技術(shù)可能帶來的潛在威脅，防止其落入壞人之手，甚至被用于制造化學(xué)和生物武器。

該團(tuán)隊(duì)由麻省理工學(xué)院人工智能教授亞歷山大?馬德里 (Aleksander Madry) 領(lǐng)導(dǎo)，將招募人工智能研究人員、計(jì)算機(jī)科學(xué)家、國家安全專家和政策專家等，對(duì) OpenAI 開發(fā)的技術(shù)進(jìn)行持續(xù)監(jiān)測和測試，一旦發(fā)現(xiàn)任何危險(xiǎn)苗頭，及時(shí)向公司發(fā)出警告。

OpenAI 周一發(fā)布了名為“防備框架”（Preparedness Framework）的指導(dǎo)方針，并強(qiáng)調(diào)這套指南仍處于測試階段。

據(jù)悉，防備團(tuán)隊(duì)每月將向一個(gè)新的內(nèi)部安全咨詢小組發(fā)送報(bào)告，該小組隨后將對(duì)其進(jìn)行分析，并向 OpenAI 首席執(zhí)行官薩姆?阿爾特曼和董事會(huì)提交建議。阿爾特曼和公司高層可以根據(jù)這些報(bào)告決定是否發(fā)布新的 AI 系統(tǒng)，但董事會(huì)有權(quán)撤銷這一決定。

防備團(tuán)隊(duì)將反復(fù)評(píng)估 OpenAI 最先進(jìn)、尚未發(fā)布的 AI 模型，根據(jù)不同類型的感知風(fēng)險(xiǎn)評(píng)為四個(gè)等級(jí)，從低到高依次是“低”、“中”、“高”和“嚴(yán)重”。根據(jù)新的指導(dǎo)方針，OpenAI 將只推出評(píng)級(jí)為“低”和“中”的模型。

OpenAI 的“防備”團(tuán)隊(duì)介于兩個(gè)現(xiàn)有團(tuán)隊(duì)之間：負(fù)責(zé)消除 AI 系統(tǒng)中種族偏見等現(xiàn)有問題的“安全系統(tǒng)”團(tuán)隊(duì)，以及研究如何確保 AI 在超越人類智能的未來場景中不會(huì)傷害人類的“超級(jí)對(duì)齊（Superalignment）”團(tuán)隊(duì)。

IT之家注意到，ChatGPT 的火爆以及生成式 AI 技術(shù)的快速發(fā)展引發(fā)了科技界關(guān)于該技術(shù)潛在危險(xiǎn)性的激烈討論。來自 OpenAI、谷歌和微軟的知名 AI 專家今年警告稱，該技術(shù)可能對(duì)人類構(gòu)成與流行病或核武器相當(dāng)?shù)纳嫱{。其他 AI 研究人員則認(rèn)為，過度關(guān)注這些遙遠(yuǎn)的巨大風(fēng)險(xiǎn)，忽視了 AI 技術(shù)目前已經(jīng)造成的潛在危害。也有一些 AI 商業(yè)領(lǐng)袖認(rèn)為，關(guān)于風(fēng)險(xiǎn)的擔(dān)憂被夸大了，公司應(yīng)該繼續(xù)推進(jìn)技術(shù)發(fā)展，造福社會(huì)并從中獲益。

OpenAI 在這場辯論中采取了較為折中的立場。首席執(zhí)行官薩姆?阿爾特曼 (Sam Altman) 承認(rèn)該技術(shù)存在嚴(yán)重的長期風(fēng)險(xiǎn)，但也呼吁人們關(guān)注解決現(xiàn)有問題。他認(rèn)為，監(jiān)管不應(yīng)該阻礙小型公司在 AI 領(lǐng)域的競爭。同時(shí)，他也推動(dòng)公司實(shí)現(xiàn)技術(shù)商業(yè)化，籌集資金加快發(fā)展。

馬德里是資深 AI 研究人員，曾在麻省理工學(xué)院負(fù)責(zé)可部署機(jī)器學(xué)習(xí)中心，并共同領(lǐng)導(dǎo)麻省理工學(xué)院 AI 政策論壇。今年他加入了 OpenAI，但在阿爾特曼被董事會(huì)解雇后，曾與少數(shù) OpenAI 高管一道辭職，五天后當(dāng)阿爾特曼復(fù)職時(shí)，馬德里回到了公司。OpenAI 由一個(gè)非營利董事會(huì)管理，其使命是促進(jìn) AI 發(fā)展并使其造福全人類。在阿爾特曼復(fù)職后，三名解雇他的董事會(huì)成員辭職，目前該組織正在遴選新的董事會(huì)成員。

盡管領(lǐng)導(dǎo)層經(jīng)歷了“動(dòng)蕩”，馬德里表示，他仍然相信 OpenAI 董事會(huì)認(rèn)真對(duì)待 AI 的風(fēng)險(xiǎn)。

除了 AI 領(lǐng)域的人才，OpenAI 的“防備”團(tuán)隊(duì)還將招募來自國家安全等領(lǐng)域的專家，幫助公司了解如何應(yīng)對(duì)重大風(fēng)險(xiǎn)。馬德里表示，團(tuán)隊(duì)已經(jīng)開始與美國核安全局等機(jī)構(gòu)進(jìn)行接觸，確保公司能夠適當(dāng)?shù)匮芯?AI 的風(fēng)險(xiǎn)。

該團(tuán)隊(duì)的重點(diǎn)之一是監(jiān)控 OpenAI 的技術(shù)何時(shí)以及如何引導(dǎo)人們進(jìn)行計(jì)算機(jī)入侵或制造危險(xiǎn)的化學(xué)、生物和核武器，超出人們通過常規(guī)研究可以在網(wǎng)上找到的內(nèi)容。馬德里正在尋找這樣的人才：“他們會(huì)深入思考，‘我如何突破這些規(guī)則？我如何成為最機(jī)智的反派？’”

OpenAI 在周一的一篇博客文章中表示，公司還將允許來自 OpenAI 之外的“合格的獨(dú)立第三方”測試其技術(shù)。

馬德里表示，他既不同意那些擔(dān)心 AI 已經(jīng)超越人類智能的“末日論者”，也不同意那些希望移除所有 AI 發(fā)展障礙的“加速主義者”。

他說：“我真切地認(rèn)為，將發(fā)展和抑制截然分開是一種非常簡單的劃分方式。AI 擁有巨大的潛力，但我們也需要努力確保這些潛力得以實(shí)現(xiàn)，并且最大程度避免負(fù)面影響。”