當(dāng)每個(gè)人都在苦苦等待 GPT-4 發(fā)布時(shí)，OpenAI 卻一直遲遲沒(méi)有消息，仍在修復(fù)其前身。這家總部位于舊金山的公司于昨日發(fā)布了一個(gè)名為 ChatGPT 的新模型，它是 GPT-3 的衍生產(chǎn)品，它以對(duì)話的方式進(jìn)行交互。

這種對(duì)話允許 ChatGPT 回答后續(xù)問(wèn)題，承認(rèn)錯(cuò)誤，挑戰(zhàn)不正確的前提，并拒絕不適當(dāng)?shù)恼?qǐng)求。不同于別的語(yǔ)言模型胡編亂造，例如 Meta 的語(yǔ)言模型 Galactica 因?yàn)椴回?fù)責(zé)任的胡編亂造，上線幾天就下架了。ChatGPT 的不同之處在于，當(dāng)它不知道自己在說(shuō)什么時(shí)，它承認(rèn)不知道。此外，ChatGPT 拒絕回答它沒(méi)有受過(guò)訓(xùn)練的問(wèn)題，例如，它不會(huì)試圖回答有關(guān) 2022 年之后發(fā)生的事件的問(wèn)題。它也不會(huì)回答關(guān)于個(gè)人的問(wèn)題。

這個(gè)模型到底有多智能？以前調(diào)試代碼的腦力活都得程序員親自動(dòng)手，現(xiàn)在 ChatGPT 可以攬下這個(gè)苦差事。

用戶表示：這段代碼沒(méi)有像我期望的那樣運(yùn)行，我該如何修改？

ChatGPT：你給的上下文信息太少了，很難說(shuō)出代碼的問(wèn)題。你能否提供更多關(guān)于代碼的信息，比如代碼用來(lái)干什么的，這是整個(gè)代碼還是其中的一部分?

用戶：這是代碼的一部分。我認(rèn)為 channel 出現(xiàn)了問(wèn)題。

ChatGPT：如果沒(méi)有更多信息來(lái)說(shuō)明代碼應(yīng)該做什么、執(zhí)行時(shí)發(fā)生了什么，這個(gè)問(wèn)題就很難說(shuō)了。從你提供的信息可以看出，代碼的一個(gè)潛在問(wèn)題是 resultWorkerErr channel 從未關(guān)閉，這意味著如果從未寫入 resultWorkerErr channel，代碼可能會(huì)掛起。如果 b.resultWorker 沒(méi)有返回錯(cuò)誤或者它在有機(jī)會(huì)返回錯(cuò)誤之前被取消，就會(huì)發(fā)生這種情況。

要解決此問(wèn)題，你可以在寫入 resultWorkerErr channel 后將其關(guān)閉。例如，你可以在向 channel 發(fā)送錯(cuò)誤的行之后添加以下代碼行：

這將確保 resultWorkerErr channel 總是關(guān)閉的，即使 b.c retworker 從未返回錯(cuò)誤。同樣，如果沒(méi)有更多關(guān)于你所看到的問(wèn)題的信息，很難判斷這是否是你正在經(jīng)歷的問(wèn)題。你能提供更多關(guān)于運(yùn)行代碼時(shí)發(fā)生的細(xì)節(jié)嗎?

以上就是 ChatGPT 修改 Bug 的一個(gè)過(guò)程，可以說(shuō)是刨根問(wèn)底了。

在下面的示例中，ChatGPT 提供了對(duì)后續(xù)指令的響應(yīng)。下圖大概意思是說(shuō)，用戶要求 ChatGPT 幫自己寫個(gè)簡(jiǎn)短的介紹，好與鄰居認(rèn)識(shí)一下；ChatGPT 給出了一篇簡(jiǎn)短文字介紹，但用戶嫌棄不夠正式，好脾氣的 ChatGPT 又來(lái)了一版正式一點(diǎn)的；之后用戶又提了一個(gè)要求，讓 ChatGPT 幫忙寄出去。最后 ChatGPT 回答：「很抱歉，我是一個(gè)基于文本的 AI 助手，沒(méi)有能力為你發(fā)送一封實(shí)體信件。我只能提供關(guān)于寫什么的建議。你可以接受該建議并自己發(fā)送這封信。」

看到這，你是不是也想嘗試一番。不錯(cuò)，這個(gè)模型一經(jīng)發(fā)布，讓很多人沉迷而無(wú)法自拔，就連馬斯克都來(lái)了一句：「很多人陷入了該死瘋狂的 ChatGPT 循環(huán)中。」

一時(shí)間，大家仿佛找到了一個(gè)新的樂(lè)子，紛紛和 ChatGPT 打開(kāi)了對(duì)話模式。「要求它解釋一個(gè)沒(méi)有上下文的復(fù)雜的正則表達(dá)式……」這個(gè)問(wèn)題真是夠難為人的，但是難不倒 ChatGPT。看這解釋的篇幅，應(yīng)該是解釋清楚了。

「ChatGPT 是一個(gè)很好的 debugging 伙伴，它不僅能解釋 bug，還能修復(fù) bug 并解釋修復(fù) bug 的方法。」網(wǎng)友表示。

更有網(wǎng)友不可思議道：「天吶，ChatGPT 竟然知道 AWS IAM 策略。」

「ChatGPT 可以生成數(shù)百行 Python 代碼，將 100 GB 的文件上傳到 AWS S3 bucket 中，只需編寫這樣一句話即可「Write Python code to upload a file to an AWS S3 bucket（編寫 Python 代碼，將文件上傳到 AWS S3 bucket 中）。」

由于大家太過(guò)熱情，試用網(wǎng)站已經(jīng)崩了：「我們的需求異常旺盛。請(qǐng)稍等，我們正在擴(kuò)充我們的系統(tǒng)。」

試用地址：chat.openai.com

方法

ChatGPT 使用與 InstructGPT 相同的方法——用人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 訓(xùn)練模型，但數(shù)據(jù)收集設(shè)置略有不同。ChatGPT 使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型：人類 AI 訓(xùn)練員提供對(duì)話，他們?cè)趯?duì)話中扮演雙方——用戶和 AI 助手，AI 訓(xùn)練員可以訪問(wèn)模型編寫的對(duì)話回復(fù)，以幫助 AI 調(diào)整回復(fù)內(nèi)容。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型，該研究需要收集比較數(shù)據(jù)，其中包含兩個(gè)或多個(gè)按質(zhì)量排序的模型回復(fù)。該研究收集了 AI 訓(xùn)練員與聊天機(jī)器人的對(duì)話，并隨機(jī)選擇一條模型編寫的消息，抽取幾個(gè)備選回復(fù)，讓 AI 訓(xùn)練員對(duì)這些回復(fù)進(jìn)行排名。此外，該研究還使用近端策略優(yōu)化算法（PPO）微調(diào)模型，并對(duì)整個(gè)過(guò)程進(jìn)行了幾次迭代。

ChatGPT 對(duì) GPT-3.5 系列中的某個(gè)模型進(jìn)行了微調(diào)，該模型于 2022 年初完成訓(xùn)練。ChatGPT 和 GPT 3.5 在 Azure AI 超級(jí)計(jì)算基礎(chǔ)設(shè)施上進(jìn)行了訓(xùn)練。

局限性

1. ChatGPT 有時(shí)會(huì)寫出看似合理但不正確或荒謬的答案。解決這個(gè)問(wèn)題非常具有挑戰(zhàn)性，因?yàn)椋?/span>

• RL 訓(xùn)練期間需要現(xiàn)實(shí)世界的數(shù)據(jù)，但目前沒(méi)有來(lái)源； 
• 模型被訓(xùn)練得過(guò)于謹(jǐn)慎導(dǎo)致它拒絕回答可以正確回答的問(wèn)題；(3) 監(jiān)督訓(xùn)練會(huì)影響模型的性能，因?yàn)槔硐肭闆r是模型知道正確答案是什么，而不是人類演示者知道是什么。
• ChatGPT 對(duì)調(diào)整輸入措辭或多次嘗試相同的 prompt 很敏感。例如，給定一個(gè)問(wèn)題，模型可以聲稱不知道答案，但只要對(duì)問(wèn)題稍作改寫，模型就就可以正確回答。
• 模型的回答通常過(guò)于冗長(zhǎng)并過(guò)度使用某些短語(yǔ)，例如重申它是 OpenAI 訓(xùn)練的語(yǔ)言模型。這些問(wèn)題源于訓(xùn)練數(shù)據(jù)（訓(xùn)練者喜歡看起來(lái)更全面的長(zhǎng)答案）和過(guò)度優(yōu)化。
• 理想情況下，當(dāng)用戶提供模棱兩可的查詢時(shí)，模型會(huì)提出質(zhì)疑，然而 ChatGPT 目前是自行猜測(cè)用戶的意圖。
• 雖然該研究已努力使模型拒絕不當(dāng)請(qǐng)求，但它有時(shí)會(huì)回復(fù)有害指令或給出有偏見(jiàn)的回答。研究團(tuán)隊(duì)正在使用 Moderation API 來(lái)警告模型或阻止某些類型的不安全內(nèi)容，并試圖收集用戶反饋來(lái)進(jìn)一步改進(jìn)該系統(tǒng)的工作。

相比于 GPT-3 和 Codex，ChatGPT 作為 OpenAI 最新發(fā)布的模型，已經(jīng)在安全性和可用性方面做出了諸多改進(jìn)，汲取了先前模型的經(jīng)驗(yàn)教訓(xùn)，并通過(guò)使用人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 大幅減少了模型的有害和不真實(shí)輸出。