出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
B站真的啥也能學(xué)到！
11月B站的嗶哩嗶哩超級(jí)科學(xué)晚活動(dòng)，竟然請(qǐng)來(lái)了OpenAI的研究副總裁（安全）——翁荔！
她是OpenAI的華人科學(xué)家，也是ChatGPT的貢獻(xiàn)者之一。
她畢業(yè)于北京大學(xué)信息管理系，即現(xiàn)在的北京大學(xué)數(shù)字人文實(shí)驗(yàn)室，是2005級(jí)本科生。
畢業(yè)后，她赴美攻讀博士學(xué)位，并曾在Facebook工作。
自2018年起，翁荔加入了OpenAI，并在GPT-4項(xiàng)目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)&對(duì)齊、模型安全等方面的工作。
翁荔還提出過(guò)著名的Agent 公式：Agent = 大模型 + 記憶 + 主動(dòng)規(guī)劃 + 工具使用。
圖片
她超高質(zhì)量的blog，得到了很多AI圈人士的追更。
今年7月，她利用一天休息日，寫(xiě)了萬(wàn)字 blog，提出了大模型的“外在幻覺(jué)”概念。
圖片
上下文幻覺(jué)：模型輸出應(yīng)與源內(nèi)容在上下文中保持一致。
外部幻覺(jué)：模型輸出應(yīng)以預(yù)訓(xùn)練數(shù)據(jù)集為依據(jù)。然而，考慮到預(yù)訓(xùn)練數(shù)據(jù)集的規(guī)模，逐個(gè)生成并檢索以識(shí)別沖突的成本太高。如果我們將預(yù)訓(xùn)練數(shù)據(jù)集視為世界知識(shí)的代理，我們實(shí)際上是在努力確保模型輸出是基于事實(shí)且可由外部世界知識(shí)驗(yàn)證的。
圖片
在這場(chǎng)B站首秀中，翁荔站在舞臺(tái)上，以《AI安全與“培養(yǎng)”之道》為主題進(jìn)行了演講分享。
圖片
“AI技術(shù)是一個(gè)雙刃劍，它帶來(lái)了便利與挑戰(zhàn)并行，我們的參與至關(guān)重要。讓我們攜手培養(yǎng)出一個(gè)既聰明又負(fù)責(zé)的AI伙伴。”她說(shuō)。
以下是經(jīng)過(guò)整理的演講全文：
大家好，我是翁荔。今天我想與大家探討一個(gè)既深刻又有趣的話題：AI安全，以及我們?nèi)绾蜗衽囵B(yǎng)下一代一樣，培育出既聰明又安全的人工智能。
繼ChatGPT橫空出世以來(lái)，AI技術(shù)如同搭乘了高速列車(chē)，迅速滲透并影響著我們的日常。
AI每天都在進(jìn)化，需要我們用心引導(dǎo)與教育，以確保其更好地服務(wù)于人類(lèi)，同時(shí)確保安全無(wú)虞。一個(gè)既安全又智能的AI無(wú)疑將為我們的生活帶來(lái)諸多裨益。
試想，一個(gè)能洞察你生活習(xí)慣的智能家居系統(tǒng)，能根據(jù)你的需求自動(dòng)調(diào)節(jié)室內(nèi)溫度風(fēng)險(xiǎn)。或是一個(gè)時(shí)刻關(guān)注你健康狀況的AI助手，能為你提供量身定制的健康建議。
AI不僅能顯著提升我們的生活質(zhì)量，還能開(kāi)辟新的就業(yè)領(lǐng)域，提升工作效率。然而這一切均建立在AI安全的基礎(chǔ)之上。正如自動(dòng)駕駛技術(shù)一樣，它能極大的提升生活便利性，但是一旦出錯(cuò)，后果可能不堪設(shè)想。
隨著AI應(yīng)用日益智能化與自主化，如何確保AI的行為符合人類(lèi)價(jià)值觀，真正做到以人為本，成為了AI安全與對(duì)齊研究的核心議題。
1.AI安全的強(qiáng)化學(xué)習(xí)
人類(lèi)在成長(zhǎng)過(guò)程中會(huì)不斷學(xué)習(xí)進(jìn)步，但也會(huì)遇到成長(zhǎng)的煩惱。AI同樣如此，它可能會(huì)因?yàn)閿?shù)據(jù)偏見(jiàn)而變得狹隘，也可能因?yàn)閷?duì)抗性攻擊而被惡意利用。悉心教育，也就是AI安全和對(duì)齊研究，才能使AI成長(zhǎng)過(guò)程更加順利。
讓我們以健康領(lǐng)域的應(yīng)用為例，很多疾病研究的數(shù)據(jù)往往以男性群體為主，這可能導(dǎo)致AI在處理女性的健康問(wèn)題時(shí)風(fēng)險(xiǎn)評(píng)估不準(zhǔn)確。此外，數(shù)據(jù)本身也有可能存在偏見(jiàn)，比如有研究表明，女性心臟病癥狀更容易被歸結(jié)成焦慮等心理問(wèn)題而造成診斷遺漏。因此我們需要通過(guò)對(duì)AI安全和對(duì)齊的研究來(lái)減少這種偏見(jiàn)。
AI學(xué)習(xí)的基礎(chǔ)是數(shù)據(jù)，數(shù)據(jù)是它的實(shí)物。要想讓AI變得聰明可靠，我們必須確保它營(yíng)養(yǎng)均衡，也就是提供他多樣、全面、正確的數(shù)據(jù)，幫助他能夠正確的理解這個(gè)復(fù)雜的世界并減少偏差。
在使用人類(lèi)標(biāo)注的數(shù)據(jù)時(shí)，我們可以依賴于群體智慧，也就是the wisdom of the crowd，即同一個(gè)數(shù)據(jù)點(diǎn)被多人標(biāo)注多數(shù)票獲勝，這種方法簡(jiǎn)單而有效。
有意思的是，1907年的一篇自然科學(xué)雜志中的文章，作者追蹤了一場(chǎng)年度展覽會(huì)上的一個(gè)有趣的競(jìng)有獎(jiǎng)競(jìng)猜。展覽會(huì)上人們選出一頭肥牛，讓大家來(lái)猜測(cè)牛的重量。最接近真實(shí)數(shù)據(jù)的人將獲得大額的獎(jiǎng)金。作者發(fā)現(xiàn)最中間值往往是最接近真實(shí)的the medium value。而這個(gè)數(shù)估計(jì)值也被稱(chēng)為vox popular，它是拉丁語(yǔ)中the voice of the people，也就是人民的聲音的意思。在這篇將近120年前的科學(xué)文章中，作者總結(jié)道，我認(rèn)為這個(gè)結(jié)果比人們預(yù)期的更能證明民主判斷的可信度。這也是最早提到群體智慧如何發(fā)生作用的科學(xué)文獻(xiàn)。
而至于如何把高質(zhì)量標(biāo)注的數(shù)據(jù)喂給AI，基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)，也就是reinforcement learning from human feed back （RLHF）技術(shù)起到了關(guān)鍵作用。在了解RLHF之前，讓我們快速了解一下什么是RL reinforce learning。
強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，它主要通過(guò)獎(jiǎng)懲機(jī)制來(lái)讓模型學(xué)會(huì)完成任務(wù)，而不是依靠直接告訴模型如何去做這件任務(wù)。想象一下它就好像你需要訓(xùn)練小狗，如果小狗做對(duì)了一個(gè)動(dòng)作，比如坐下你就給它一塊骨頭餅干，錯(cuò)了就不給獎(jiǎng)勵(lì)。這樣小狗就會(huì)因?yàn)橄氤缘礁嗟娘灨桑鴮W(xué)會(huì)如何正確的做下。同理AI也在這種獎(jiǎng)懲機(jī)制中學(xué)習(xí)，通過(guò)不斷的嘗試并得到反饋，找到最佳的行動(dòng)策略。
一個(gè)早期的研究表明，強(qiáng)化學(xué)習(xí)能利用少量人類(lèi)反饋，快速有效的教會(huì)智能體做復(fù)雜的動(dòng)作，比如學(xué)會(huì)如何后空翻。同樣的方法也可以用于訓(xùn)練大語(yǔ)言模型。當(dāng)我們看到針對(duì)同一問(wèn)題的不同AI回答時(shí)，我們可以告訴模型哪一個(gè)回答更好、更正確、更符合人類(lèi)價(jià)值觀。這樣我們就像家長(zhǎng)糾正孩子一樣，能夠調(diào)節(jié)AI的學(xué)習(xí)過(guò)程。
此外我們還可以使用模型本身作為輸出I輸出質(zhì)量的評(píng)分者。比如在Antropic發(fā)表的《Constitutional AI》中，模型就通過(guò)對(duì)自己行為的自我評(píng)價(jià)進(jìn)行改進(jìn)。或者在對(duì)其強(qiáng)化學(xué)習(xí)中，我們可以制定非常詳細(xì)的行為規(guī)則來(lái)告訴AI，何時(shí)拒絕用戶的請(qǐng)求，如何表達(dá)同理心等等。
然后我們?cè)趶?qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制中，非常精準(zhǔn)的來(lái)給予相應(yīng)的評(píng)分和獎(jiǎng)勵(lì)。這個(gè)過(guò)程中一個(gè)更加強(qiáng)大的AI有能力更精準(zhǔn)的判斷他是否有在遵循人類(lèi)的價(jià)值觀和行為準(zhǔn)則。總之強(qiáng)化學(xué)習(xí)技術(shù)就像一把鑰匙，幫助我們打開(kāi)AI高質(zhì)量學(xué)習(xí)和發(fā)展的大門(mén)。在培養(yǎng)AI更懂我們的過(guò)程中，普通人也能發(fā)揮重要的作用。
在文檔寫(xiě)作上我們可以采用兩個(gè)小技巧：
首先設(shè)定詳細(xì)的背景和角色，就像導(dǎo)演為演員準(zhǔn)備劇本一樣，讓AI在豐富的情境中捕捉我們的意圖。
其次，精心挑選關(guān)鍵詞，構(gòu)建邏輯清晰的文檔結(jié)構(gòu)，使文檔既美觀又實(shí)用。在視頻音樂(lè)制作領(lǐng)域，我們可以通過(guò)使用專(zhuān)業(yè)術(shù)語(yǔ)來(lái)引導(dǎo)AI比如黃金分割構(gòu)圖或和弦進(jìn)行，將創(chuàng)意轉(zhuǎn)化為現(xiàn)實(shí)。同時(shí)別忘了感情的投入，因?yàn)檫@是賦予靈作品靈魂的關(guān)鍵。簡(jiǎn)而言之，通過(guò)細(xì)致的指導(dǎo)和情感的融入，我們可以幫助AI創(chuàng)作出既豐富又富有感染力的作品。
2.對(duì)齊——AI模型的“緊箍咒”
在西游記中，孫悟空有緊箍咒約束行為，我們應(yīng)該給AI模型也帶上緊箍咒，也就是教會(huì)AI安全基本準(zhǔn)則約束和道德標(biāo)準(zhǔn)，讓其遵守行為規(guī)范，以人類(lèi)利益為先，成為我們貼心的伙伴，而不是冰冷的機(jī)器人。
讓AI學(xué)習(xí)基本原則和道德準(zhǔn)則，可以使模型在面對(duì)復(fù)雜問(wèn)題時(shí)運(yùn)用推理得出正確的結(jié)論。比如在open AI最近發(fā)表的o1 preview模型中，我們通過(guò)思維鏈推理加強(qiáng)了模型的魯棒性(robustness）, 使得模型可以更好的抵抗越獄攻擊。
擴(kuò)展性監(jiān)督（scalable overside）在AI對(duì)其研究中也非常重要。隨著AI模型擴(kuò)大，需要結(jié)合自動(dòng)化工具和人類(lèi)監(jiān)督，有效的監(jiān)督其行為，確保它朝著正確的方向發(fā)展。
在一組研究中，我們用監(jiān)督學(xué)習(xí)訓(xùn)練語(yǔ)言模型，對(duì)網(wǎng)絡(luò)文本摘要進(jìn)行批評(píng)，比如提供這個(gè)摘要非常準(zhǔn)確，或者這個(gè)摘要遺漏了要點(diǎn)等等。評(píng)論相比對(duì)照組，我們發(fā)現(xiàn)有AI幫助的標(biāo)注員比沒(méi)有幫助的能多。導(dǎo)出摘要中約50%的問(wèn)題，而且多數(shù)批評(píng)都參考了模型提供的內(nèi)容。總之給AI設(shè)定標(biāo)準(zhǔn)并進(jìn)行有效監(jiān)督，可以提升它對(duì)人們的幫助。
其實(shí)AI的安全不僅僅是研究者的責(zé)任，它需要每一個(gè)人的參與。
以B站為例，這個(gè)充滿活力的社區(qū)聚集了眾多AI愛(ài)好者和創(chuàng)作者，我們?cè)谶@里分享見(jiàn)解、討論問(wèn)題，甚至監(jiān)督AI的表現(xiàn)，共同影響著AI的成長(zhǎng)。
我們每個(gè)人都應(yīng)該成為AI的大家長(zhǎng)，不僅監(jiān)督和反饋AI的表現(xiàn)，還參與塑造一個(gè)安全可信的人工智能世界。
AI技術(shù)是一個(gè)雙刃劍，它帶來(lái)了便利與挑戰(zhàn)并行，我們的參與至關(guān)重要。讓我們攜手培養(yǎng)出一個(gè)既聰明又負(fù)責(zé)的AI伙伴。
感謝大家的聆聽(tīng)，希望今天的分享能激發(fā)大家對(duì)于安全的熱情和興趣。也感謝B站提供這個(gè)平臺(tái)，讓我們共同為AI的未來(lái)貢獻(xiàn)力量。
