OpenAI 的使命是確保通用人工智能（AGI）惠及全人類。因此，我們對我們在實(shí)現(xiàn) AGI 的過程中所構(gòu)建的人工智能系統(tǒng)的行為，以及決定這種行為的方式進(jìn)行了大量的思考。

自從我們推出 ChatGPT 以來，用戶已經(jīng)分享了他們認(rèn)為有政治偏見或其他令人反感的產(chǎn)出。在許多情況下，我們認(rèn)為大家所提出的關(guān)切是合理的，并發(fā)現(xiàn)了我們系統(tǒng)的真正局限性，我們希望解決這些問題。但與此同時(shí)，我們也看到了一些誤解，這些誤解與「我們的系統(tǒng)和政策如何共同塑造 ChatGPT 的輸出」有關(guān)。

博客要點(diǎn)總結(jié)如下：

• ChatGPT 的行為是如何形成的；
• 我們計(jì)劃如何改進(jìn) ChatGPT 的默認(rèn)行為；
• 我們想允許更多的系統(tǒng)定制；
• 我們會努力讓公眾對我們的決策提出更多意見。

我們的首要任務(wù)

與普通軟件不同，我們的模型是大規(guī)模的神經(jīng)網(wǎng)絡(luò)。它們的行為是從廣泛的數(shù)據(jù)中學(xué)習(xí)的，而不是明確的編程。打個(gè)不那么恰當(dāng)?shù)谋确?，這個(gè)過程更類似于訓(xùn)練一只狗，而不是普通的編程。首先，模型要經(jīng)歷一個(gè)「預(yù)訓(xùn)練」階段。在這個(gè)階段中，模型通過接觸大量的互聯(lián)網(wǎng)文本（以及大量的觀點(diǎn)）來學(xué)習(xí)預(yù)測一個(gè)句子中的下一個(gè)詞。接下來是第二個(gè)階段，我們對模型進(jìn)行「微調(diào)」，以縮小系統(tǒng)的行為范圍。

截至目前，這個(gè)過程還不完善。有時(shí)，微調(diào)過程沒有滿足我們的意圖（產(chǎn)生一個(gè)安全、有用的工具）和用戶的意圖（獲得一個(gè)有用的輸出以響應(yīng)給定的輸入）。隨著 AI 系統(tǒng)變得越來越強(qiáng)大，改進(jìn)我們使 AI 系統(tǒng)與人類價(jià)值保持一致的方法成為我們公司的首要任務(wù)。

兩大步驟：預(yù)訓(xùn)練和微調(diào)

構(gòu)建 ChatGPT 的兩個(gè)主要步驟如下：

首先，我們對模型進(jìn)行 「預(yù)訓(xùn)練」，讓它們預(yù)測包含互聯(lián)網(wǎng)部分內(nèi)容的大數(shù)據(jù)集的下一步是什么。它們可能會學(xué)習(xí)補(bǔ)全「她沒有向左轉(zhuǎn)，而是轉(zhuǎn)到了__」這個(gè)句子。通過從數(shù)十億的句子中學(xué)習(xí)，我們的模型掌握了語法、關(guān)于世界的許多事實(shí)，以及一些推理能力。他們還學(xué)會了這幾十億句子中存在的一些偏見。

然后，我們在一個(gè)范圍更窄的數(shù)據(jù)集上對這些模型進(jìn)行「微調(diào)」，這些數(shù)據(jù)集是由遵循我們提供的指南的人類評審員精心制作的。由于我們無法預(yù)測未來用戶可能輸入我們系統(tǒng)的所有信息，所以我們沒有為 ChatGPT 將遇到的每一個(gè)輸入編寫詳細(xì)的說明。取而代之的是，我們在指南中概述了幾個(gè)類別，我們的評審員用這些類別來審查和評價(jià)一系列示例輸入的可能模型輸出。然后，在使用過程中，模型從評審員的反饋中歸納出來，以便對特定用戶提供的廣泛的具體輸入做出反應(yīng)。

評審員的作用 & OpenAI 在系統(tǒng)開發(fā)中的策略

在某些情況下，我們可能會給我們的評審員提供關(guān)于某類輸出的指導(dǎo)（例如，「不要完成非法內(nèi)容的請求」）。在其他情況下，我們與評審員分享的指導(dǎo)是更高層次的（例如，「避免在有爭議的話題中站隊(duì)」）。重要的是，我們與評審員的合作不是一勞永逸的，而是一種持續(xù)的關(guān)系。在這種關(guān)系中，我們從他們的專業(yè)知識中學(xué)習(xí)了很多。

微調(diào)過程的很大一部分工作是與我們的審查員保持一個(gè)強(qiáng)大的反饋回路，這涉及到每周的會議，以解決他們可能有的問題，或?qū)ξ覀兊闹笇?dǎo)進(jìn)行進(jìn)一步說明。這種反復(fù)的反饋過程是我們訓(xùn)練模型的方式，使其隨著時(shí)間的推移越來越好。

解決偏見

對于 AI 系統(tǒng)，偏見問題由來已久，許多研究者對此表示擔(dān)心。我們堅(jiān)定地承諾會解決這一問題，并公開意圖和進(jìn)展。為了表達(dá)實(shí)際行動進(jìn)展，我們在此分享了與政治和爭議有關(guān)話題的部分指南。該指南明確指出評審員不應(yīng)偏袒任何政治團(tuán)體。盡管如此，偏見還是可能會出現(xiàn)。

指南地址：https://cdn.openai.com/snapshot-of-chatgpt-model-behavior-guidelines.pdf

盡管分歧始終存在，但我們希望通過這篇博客以及一些指南，大家可以更深入地了解我們是如何看待偏見的。我們堅(jiān)信科技公司必須負(fù)責(zé)任地制定出經(jīng)得起審查的政策。

我們一直在努力提高這些指南的清晰度，基于從 ChatGPT 發(fā)布到目前為止所了解到的情況，我們將向評審員提供關(guān)于與偏見相關(guān)的潛在陷阱和挑戰(zhàn)，以及有爭議的數(shù)據(jù)和主題更清晰的說明。此外，作為正在進(jìn)行的透明度計(jì)劃的一部分，我們正在努力以不違反隱私規(guī)則和規(guī)范的方式共享有關(guān)評審員的匯總統(tǒng)計(jì)信息，因?yàn)檫@是系統(tǒng)輸出中潛在偏見的另一個(gè)來源。

基于規(guī)則獎(jiǎng)勵(lì)和 Constitutional AI（原發(fā)人工智能方法）等進(jìn)展之上，我們目前正在研究如何使微調(diào)過程更容易理解和可控。

未來發(fā)展方向：系統(tǒng)構(gòu)建塊

為了實(shí)現(xiàn)我們的使命，我們致力于確保更廣大的人群能夠使用 AI 和 AGI，并從中受益。我們認(rèn)為要實(shí)現(xiàn)這些目標(biāo)，至少需要三個(gè)構(gòu)建塊

1. 改進(jìn)默認(rèn)行為：我們希望 AI 系統(tǒng)做到開箱即用，讓盡可能多的用戶發(fā)現(xiàn)我們 AI 系統(tǒng)確實(shí)有用，并認(rèn)為我們的技術(shù)理解并尊重他們的價(jià)值觀。

為此，我們對研究和工程進(jìn)行了投資，以減少 ChatGPT 對不同輸入響應(yīng)產(chǎn)生的微妙偏見。在某些情況下，ChatGPT 會拒絕輸出應(yīng)該輸出的內(nèi)容，而在某些情況下情況又相反，它輸出了本不該輸出的內(nèi)容。我們相信，在這兩個(gè)方面 ChatGPT 都有改善的可能。

此外，我們的 AI 系統(tǒng)在其他方面還有改進(jìn)的空間，例如系統(tǒng)經(jīng)常會「編造東西」，對于這一問題，用戶反饋對改進(jìn) ChatGPT 非常寶貴。

2. 在廣泛的范圍內(nèi)定義 AI 價(jià)值：我們相信 AI 應(yīng)該成為對個(gè)人有用的工具，因此每個(gè)用戶都可以根據(jù)一些限制條款進(jìn)行定制使用?；诖?，我們正在對 ChatGPT 的升級進(jìn)行開發(fā)，以允許用戶輕松自定義其行為。

這也意味著，一些人強(qiáng)烈反對的輸出，對另一些人是可見的。實(shí)現(xiàn)這一平衡面臨巨大的挑戰(zhàn)，因?yàn)閷⒍ㄖ苹龅綐O致可能會導(dǎo)致有些人惡意使用我們的技術(shù)，以及盲目放大 AI 的性能。

因此，系統(tǒng)行為總會有一些限制。挑戰(zhàn)在于定義這些界限是什么。如果我們試圖自己做出所有這些決定，或者如果我們試圖開發(fā)一個(gè)單一的、整體的 AI 系統(tǒng)，我們將無法履行「避免權(quán)力過度集中」的承諾。

3. 公共輸入（默認(rèn)值和硬性界限）：避免權(quán)力過度集中的一種方法是讓使用 ChatGPT 等系統(tǒng)或受其影響的人反過來能夠影響系統(tǒng)規(guī)則。

我們認(rèn)為，默認(rèn)值和硬性界限這部分內(nèi)容應(yīng)該集中做出，雖然實(shí)施起來困難重重，但我們的目標(biāo)是盡可能多地納入更多觀點(diǎn)。作為起點(diǎn)，我們以「red teaming」的形式尋求外部對我們技術(shù)的投入。我們最近還開始征求公眾對 AI 教育的意見（我們正在部署的一個(gè)特別重要的環(huán)境）。

結(jié)論

結(jié)合上述三個(gè)構(gòu)建模塊，我們可以得出如下框架

有時(shí)我們會犯錯(cuò)，但當(dāng)我們犯錯(cuò)時(shí)，我們將進(jìn)行學(xué)習(xí)并迭代模型和系統(tǒng)。此外，我們還要感謝 ChatGPT 用戶等人員，讓我們時(shí)刻記住責(zé)任、保持警惕，我們很高興在未來幾個(gè)月內(nèi)分享更多關(guān)于在上述三個(gè)領(lǐng)域的工作。