首次：微軟用GPT-4做大模型指令微調(diào)，新任務(wù)零樣本性能再提升

作者：機(jī)器之心 2023-04-10 09:23:36

大模型指令微調(diào)水平在不斷地提高，這次微軟用上了 GPT-4。

我們知道，從谷歌 T5 模型到 OpenAI GPT 系列大模型，大語(yǔ)言模型（LLMs）已經(jīng)展現(xiàn)出了令人印象深刻的泛化能力，比如上下文學(xué)習(xí)和思維鏈推理。同時(shí)為了使得 LLMs 遵循自然語(yǔ)言指令和完成真實(shí)世界任務(wù)，研究人員一直在探索 LLMs 的指令微調(diào)方法。實(shí)現(xiàn)方式有兩種：一是使用人類標(biāo)注的 prompt 和反饋在廣泛任務(wù)上微調(diào)模型，二是使用通過(guò)手動(dòng)或自動(dòng)生成指令增強(qiáng)的公共基準(zhǔn)和數(shù)據(jù)集來(lái)監(jiān)督微調(diào)。?

在這些方法中，Self-Instruct 微調(diào)是一種簡(jiǎn)單有效的方法，它從 SOTA 指令微調(diào)的教師 LLMs 生成的指令遵循數(shù)據(jù)中學(xué)習(xí)，使得 LLMs 與人類意圖對(duì)齊。事實(shí)證明，指令微調(diào)已經(jīng)成為提升 LLMs 零樣本和小樣本泛化能力的有效手段。?

最近，ChatGPT 和 GPT-4 的成功為使用指令微調(diào)來(lái)改進(jìn)開(kāi)源 LLMs 提供了巨大的機(jī)遇。Meta LLaMA 是一系列開(kāi)源 LLMs，其性能與 GPT-3 等專有 LLMs 相媲美。為了教 LLaMA 遵循指令，Self-Instruct 因其卓越性能和低成本被快速采用。比如斯坦福的 Alpaca 模型使用由 GPT-3.5 生成的 52k 指令遵循樣本，Vicuna 模型使用約 70k 來(lái)自 ShareGPT 的指令遵循樣本。?

為了推進(jìn) LLMs 指令微調(diào)的 SOTA 水平，微軟研究院在其論文《Instruction Tuning with GPT-4》中首次使用 GPT-4 作為教師模型進(jìn)行 self-intruct 微調(diào)。

論文地址：https://arxiv.org/pdf/2304.03277.pdf
項(xiàng)目地址：https://instruction-tuning-with-gpt-4.github.io/
GitHub 地址：https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM?

研究者一方面發(fā)布了 GPT-4 生成的數(shù)據(jù)，包括中英文的 52k 指令遵循數(shù)據(jù)集、GPT-4 生成的對(duì)三種指令微調(diào)模型的輸出進(jìn)行評(píng)級(jí)的反饋數(shù)據(jù)。 ?

另一方面基于 GPT-4 生成的數(shù)據(jù)開(kāi)發(fā)了指令微調(diào)的 LLaMA 模型和獎(jiǎng)勵(lì)模型。為了評(píng)估指令微調(diào) LLMs 的質(zhì)量，研究者使用三個(gè)指標(biāo)對(duì)測(cè)試樣本進(jìn)行評(píng)估：對(duì)三個(gè)對(duì)齊標(biāo)準(zhǔn)的人工評(píng)估、基于 GPT-4 反饋的自動(dòng)評(píng)估以及非自然指令的 ROUGE-L（自動(dòng)文摘評(píng)測(cè)方法之一）。?

實(shí)驗(yàn)結(jié)果驗(yàn)證了使用 GPT-4 生成的數(shù)據(jù)進(jìn)行 LLMs 指令微調(diào)的有效性。GPT-4 生成的 52k 中英指令遵循數(shù)據(jù)在新任務(wù)上實(shí)現(xiàn)了較以往 SOTA 模型更好的零樣本性能。目前，研究者已經(jīng)公開(kāi)了使用 GPT-4 生成的數(shù)據(jù)以及相關(guān)代碼。

數(shù)據(jù)集?

該研究使用 GPT-4 生成以下四個(gè)數(shù)據(jù)集：

英語(yǔ)指令遵循數(shù)據(jù)集（English Instruction-Following Data）：對(duì)于從 Alpaca 收集到的 52K 指令，每個(gè)指令都提供了一個(gè)英文 GPT-4 答案。該數(shù)據(jù)集主要用來(lái)探索和比較 GPT-4 答案和 GPT-3 答案的數(shù)據(jù)統(tǒng)計(jì)。
中文指令遵循數(shù)據(jù)集（Chinese Instruction-Following Data）：該研究使用 ChatGPT 將 52K 指令翻譯成中文，并要求 GPT-4 用中文回答。
比較數(shù)據(jù)（Comparison Data）：讓 GPT-4 給自己的反應(yīng)打分，分?jǐn)?shù)范圍從 1 到 10。此外，該研究還要求 GPT-4 對(duì) GPT-4、GPT-3.5 和 OPT-IML 三種模型的響應(yīng)進(jìn)行比較和評(píng)分。這一數(shù)據(jù)集主要用來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。
非自然指令的回答（Answers on Unnatural Instructions）：GPT-4 的回答在 68K 指令 - 輸入 - 輸出三組核心數(shù)據(jù)集上解碼。該子集用于量化 GPT-4 與指令微調(diào)模型之間的差距。?

圖 1 比較了 GPT-4 和 GPT-3.5 的英文輸出響應(yīng)集。圖 1 (a) 和 (b) 顯示了兩個(gè)輸出集合頻率高于 10 的動(dòng) - 名詞對(duì)（verb-noun pairs），圖 1 (c) 比較了兩個(gè)集合中出現(xiàn)頻率最高的 25 對(duì)單詞，圖 1 (d) 比較了序列長(zhǎng)度的頻率分布，結(jié)果顯示，GPT-4 傾向于生成比 GPT-3.5 更長(zhǎng)的序列。

指令微調(diào)語(yǔ)言模型?

該研究基于 LLaMA 7B checkpoint、并使用監(jiān)督微調(diào)訓(xùn)練了兩個(gè)模型：(i) LLaMA-GPT4 ，在 GPT-4 生成的 52K 英語(yǔ)指令遵循數(shù)據(jù)上訓(xùn)練。(ii) LLaMA-GPT4-CN，在來(lái)自 GPT-4 生成的 52K 中文指令遵循數(shù)據(jù)上訓(xùn)練完成。

獎(jiǎng)勵(lì)模型

人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 旨在使 LLM 行為與人類偏好保持一致，獎(jiǎng)勵(lì)建模是其關(guān)鍵部分之一，這一問(wèn)題被往往公式化為回歸任務(wù)，以預(yù)測(cè)給定提示和響應(yīng)之間的獎(jiǎng)勵(lì)。但這種方法通常需要大規(guī)模的比較數(shù)據(jù)，現(xiàn)有開(kāi)源模型如 Alpaca、Vicuna 和 Dolly 由于標(biāo)注比較數(shù)據(jù)成本很高，因此不涉及 RLHF。與此同時(shí)，最近的研究表明，GPT-4 能夠識(shí)別和修復(fù)自己的錯(cuò)誤，并準(zhǔn)確判斷響應(yīng)的質(zhì)量。因此，為了促進(jìn) RLHF 的研究，該研究使用 GPT-4 創(chuàng)建了比較數(shù)據(jù)，如上文所述。

為了評(píng)估數(shù)據(jù)質(zhì)量，該研究還訓(xùn)練了一個(gè)基于 OPT 1.3B 的獎(jiǎng)勵(lì)模型進(jìn)行該數(shù)據(jù)集的評(píng)估。比較數(shù)據(jù)的分布如圖 2 所示。

實(shí)驗(yàn)?

該研究利用以下三種類型進(jìn)行評(píng)估：人類評(píng)估、GPT-4 以及非自然指令評(píng)估。結(jié)果證實(shí)，與其他機(jī)器生成的數(shù)據(jù)相比，使用 GPT-4 生成的數(shù)據(jù)是進(jìn)行 LLM 指令微調(diào)的一種高效且有效的方法。接下來(lái)我們看看具體實(shí)驗(yàn)過(guò)程。

人類評(píng)估?

圖 3 (a) 為 LLaMA-GPT4 vs Alpaca 比較結(jié)果，實(shí)驗(yàn)表明在 Helpfulness 這一指標(biāo)下，GPT-4 以 54.12% 的得分勝出。圖 3 (b) 為 LLaMA-GPT4 vs GPT-4 比較結(jié)果，表明 GPT-4 指令微調(diào)的 LLaMA 的性能與原始的 GPT-4 類似。

與使用自動(dòng)求值的 SOTA 進(jìn)行比較?

該研究使用 GPT-4 對(duì)不同模型在 80 個(gè)未見(jiàn)問(wèn)題上的回答進(jìn)行自動(dòng)評(píng)估。首先從 LLaMA-GPT-4 (7B) 和 GPT-4 兩個(gè)聊天機(jī)器人中收集答案，并使用其他聊天機(jī)器人發(fā)布答案，包括 LLaMA (13B)，Alpaca (13B)，Vicuna (13B)，Bard (谷歌，2023) 和 ChatGPT。對(duì)于每次評(píng)估，該研究要求 GPT-4 對(duì)兩個(gè)模型之間的響應(yīng)質(zhì)量進(jìn)行評(píng)分，評(píng)分范圍從 1 到 10。結(jié)果如圖 4 所示。

圖 4 (c,d) 比較了所有聊天機(jī)器人。LLaMA_GPT4 性能更高：7B LLaMA GPT4 的性能優(yōu)于 13B Alpaca 和 LLaMA。然而，LLaMA_GPT4 與 GPT-4 等大型商業(yè)聊天機(jī)器人相比，仍有差距。?

研究者在下圖 5 中進(jìn)一步研究了所有聊天機(jī)器人的性能。首先使用 GPT-4 將聊天機(jī)器人的英文響應(yīng)翻譯成中文，接著使用 GPT-4 將英文問(wèn)題翻譯成中文以獲得答案。與 GPT-4 翻譯和生成的中文響應(yīng)的比較如 5 (a) 和 5 (b) 所示，5 (c) 中顯示了所有被要求用中文回答的模型結(jié)果。

在下圖 6 中，研究者將 LLaMA-GPT4 與 GPT-4、Alpaca 非自然指令進(jìn)行比較。結(jié)果顯示，LLaMA-GPT4 和 GPT-4 隨 ground truth 響應(yīng)長(zhǎng)度的增加表現(xiàn)更好。這意味著當(dāng)場(chǎng)景更具創(chuàng)意時(shí)，它們可以更好地遵循指令。當(dāng)序列長(zhǎng)度較短時(shí)，LLaMA-GPT4 和 GPT-4 都能生成包含簡(jiǎn)單 ground truth 答案的響應(yīng)，并且添加額外單詞可以使響應(yīng)更像聊天。