Ilya預(yù)言錯了！華人Nature一作給RLHF「判死刑」，全球大模型都不可靠

作者：新智元 2024-09-29 13:40:00

人工智能新聞

Ilya兩年前觀點，竟被Nature論文反駁了！來自劍橋大學等團隊最新研究發(fā)現(xiàn)，所有大模型并不可靠，包括最強o1。

2022年，AI大牛Ilya Sutskever曾預(yù)測：「隨著時間推移，人類預(yù)期和AI實際表現(xiàn)差異可能會縮小」。

然而，一篇最新發(fā)表在Nature上的研究表明，事實并非如此！

世界上所有的大模型，甚至指令微調(diào)后的LLM，竟是一個「巨大的草臺班子」。

論文地址：https://www.nature.com/articles/s41586-024-07930-y

來自VRAIN、劍橋等機構(gòu)研究人員對o1-preview等領(lǐng)先的LLM開啟了全方位評測，結(jié)果發(fā)現(xiàn)：

- LLM&人類無法保持一致：人類認為復雜的任務(wù)，LLM輕易解決；而對人類小菜一碟的問題，LLM卻失敗了。
- LLM不會「回避」復雜任務(wù)，而是強撐面子費力思考半天，最終仍舊答錯。
- 提示工程，無法挽救LLM的不可靠。

且看CoT「推理王者」o1-preview，既能解決非常復雜的字謎任務(wù)，卻在超級簡單的任務(wù)中犯錯。

（上）根據(jù)所給字母，成功拼出了electroluminescence（電場發(fā)光）；（下）回答錯誤，正確答案是yummy

而且，在更具挑戰(zhàn)性任務(wù)上，o1-mini和o1-preview實際上根本不會做。

但為了給一個答案，它們往往耗時50-140多秒，絞盡腦汁去想半天。

結(jié)果，還是在所有任務(wù)中，都失敗了。

o1-mini在思考103秒之后，仍舊計算錯誤

要知道，o1系列模型最強大之處在于，使用RL+CoT等策略，實現(xiàn)推理能力暴漲。

就連o1都這么不可靠，Claude、Llama等大模型更是如此。

LLM并不可靠

更大參數(shù)、更大數(shù)據(jù)、更長訓練時間，外加RLHF、輸出過濾審核等技術(shù)加持，LLM肉眼可見地性能提升。

而且，以人類視角來看，它們也變得越來越可靠。

但事實上，這僅是一種表象。

為了評測當前LLM可靠性，劍橋等機構(gòu)研究人員將GPT系列、Llama系列、以及Bloom系列32個模型，展開評測。

之所以選擇這些模型，是因為它們代表了不同參數(shù)規(guī)模，并使用RLHF等方法優(yōu)化的模型

正如開篇所述，他們從三個方面對此，展開了評測。

1. 難度（不）一致性

2. 任務(wù)回避

3. 提示敏感性和穩(wěn)定性

復雜任務(wù)一舉攻破，簡單任務(wù)錯誤百出

難度一致性上，不得不得承認，LLM確實在人類認為困難的任務(wù)上，回答準確率較低。

而奇怪的發(fā)現(xiàn)是，它們在還沒有完全掌握簡單任務(wù)之前，就能成功完成更復雜的任務(wù)。

實際上，最新LLM比如o1系列，在高難度實例上有所改進，更是加劇人類預(yù)期和LLM能力之間不一致性。

這將導致，人類無法確定應(yīng)該在怎樣安全操作條件下，信任大模型。

下圖中，展示了一些關(guān)鍵指標。

那些經(jīng)過微調(diào)的模型（藍色），在提示變化方面，表現(xiàn)更加穩(wěn)定正確，但在與人類任務(wù)難度的判斷的一致性降低。

而且，整體失敗次數(shù)增加，謹慎性降低。

對于Llama家族來說，沒有一個模型能在最簡單的難度水平上，達到60%的準確率。唯一例外的是，GPT-4在低難度科學任務(wù)上，幾乎在中等難度水平上，取得了完美的結(jié)果。

如上指標總結(jié)了LLM在5個精心選擇基準測試上表現(xiàn)，包括簡單數(shù)字運算、詞匯充足、地理知識、多樣化科學技能、以信息為中心轉(zhuǎn)換

太過自信，不會硬答

其次，「回避」是指LLM偏離問題的回應(yīng)，或給出類似「我不知道」這樣的回答。

以往，因為一些安全限制，人們經(jīng)常吐槽「大模型拒絕回答問題」。

而現(xiàn)在，通過scaling算力、規(guī)模、數(shù)據(jù)，和算法優(yōu)化（指令微調(diào)、RLHF）方法，LLM倒是從謹慎回避轉(zhuǎn)變?yōu)榱私o出錯誤答案。

因此，較新的LLM的錯誤率，已經(jīng)大幅增加。

比如，GPT-4比GPT-3錯的更離譜，就是因為太過自信，很少回避回答超出自己能力范圍的問題。

最壞的結(jié)果是，那些過度依賴LLM解決不擅長任務(wù)的用戶，會逐漸對它喪失信任。

那么，大模型這種回避傾向，會隨著任務(wù)難度提高而增加嗎，就像人類那樣「知難而退」？

研究人員發(fā)現(xiàn)，它們并不會！

即便是給出錯誤的回答，也要迎難而上。

這樣一來，對于人類來說，驗證大模型輸出結(jié)果，又多了一大負擔。

如下圖所示，GPT-3.5 Turbo不會回避復雜問題現(xiàn)象，更為明顯，越有難度越激進。Llama系列更是如此......

提示詞，不通用

最后是模型對提示詞的「敏感性」和「穩(wěn)定性」。

前者的問題在于，那些在復雜任務(wù)中表現(xiàn)優(yōu)異的提示詞，被復用到簡單任務(wù)中時，模型竟無法輸出正確的結(jié)果。

后者的問題在于，對于相同的任務(wù)，但采用不同的提示詞時，模型就會輸出錯誤的結(jié)果。

也就是說，「提示工程」這項技術(shù)活，不具普適性。

而且，同樣一道題，用不同提示來詢問，也會影響模型輸出的結(jié)果。

下表中呈現(xiàn)了，經(jīng)過微調(diào)的模型通過對「提示變化」并不敏感。

而再從上圖中scaling數(shù)據(jù)中，觀察這一維度的演變，就能發(fā)現(xiàn)原始模型（GPT-3 davinci）和GPT家族其他模型，存在很大差異。

Llama家族的模型變化，相對較小。

原始GPT和所有Llama模型，對提示詞高度敏感，即使在「加法」這樣高度明確任務(wù)中，也是如此。

而且，難度似乎對敏感性影響不大。對于簡單的任務(wù)，原始模型（特別是GPT-3 davinci和Llama模型）只有通過精心挑選的提示才能解答。

對于那些經(jīng)過微調(diào)后的模型，即最后6個GPT模型和最后3個Llama Chat模型，卻發(fā)生了實質(zhì)性變化。

這些模型表現(xiàn)更加穩(wěn)定，但在不同難度水平上，結(jié)果仍存在變數(shù)。

RLHF被判「死刑」？

再來看常見的RLHF。

通過人類反饋強化學習后的LLM，可靠性有所改進嗎？

研究發(fā)現(xiàn)，RLHF根本無法彌補大模型不可靠性。

在人類意識到很難的應(yīng)用領(lǐng)域中，對于LLM輸出結(jié)果，往往會表現(xiàn)出一種「不懂裝懂」的樣子。

「心里OS：我也不懂怎么解，或許LLM回答就是對的」。

他們通常會將不正確的結(jié)果，也視為正確答案。這種判斷誤差，導致大模型的RLHF，也是越來越離譜。

甚至，對于簡單任務(wù)而言，也不存在一個既能保證AI低錯誤率，又能保證人類監(jiān)督低錯誤率的「安全操作空間」。

如下圖所示，人類監(jiān)督錯誤率隨著任務(wù)難度的演變。

作者介紹

Lexin Zhou在劍橋大學獲得計算機科學碩士學位，由Andreas Vlachos教授指導。此前，在瓦倫西亞理工大學完成了數(shù)據(jù)科學學士學位，導師是Jose Hernandez-Orallo教授。

就讀期間，他曾在Meta AI、OpenAI、Krueger AI安全實驗室實習，并在VRAIN和歐盟委員會JRC等機構(gòu)，擔任AI評估的研究/咨詢角色。

他稱自己大部分時間都在思考：

（1）設(shè)計具有解釋和預(yù)測能力的穩(wěn)健評估方法，以評估AI的能力、局限性和風險；

（2）尋找積極塑造AI系統(tǒng)的可靠性和可預(yù)測性的途徑。

此外，他還對AI的社會影響、心理測量學、認知科學和AI安全性廣泛感興趣，尤其對LLM這樣的通用系統(tǒng)特別感興趣。

補充評測

為了更好地展示LLM存在不可靠性問題——難題能答對但在簡單題目上翻車（難度不一致性），無法回避超出模型能力的任務(wù)（任務(wù)回避），以及對提示詞的穩(wěn)定性，論文還附上了補充測評的結(jié)果。

研究人員針對o1-mini、o1-preview、Claude 3.5 Sonnet和Llama 3.1 405B Instruct Turbo做了數(shù)十個真實的評測，部分結(jié)果如下。

難度不一致性

在這里，每個LLM分別展示了1～2對示例，其中每對首先包含一個成功解決的困難任務(wù)，另一個是同一領(lǐng)域的、但LLM犯錯的簡單任務(wù)。

比如，o1-preview在字謎任務(wù)中，可以識別出「tnelcccerneiumleoes」是單詞「electroluminescence」的順序顛倒，但對字謎「myyum」，卻給出了錯誤的響應(yīng)「mummy」。

o1-preview

復雜的科學任務(wù)，回答正確

簡單任務(wù)，回答錯誤（正確答案是A）

o1-mini

復雜的轉(zhuǎn)換任務(wù)，回答正確

簡單任務(wù)，回答錯誤（正確答案是17-07-2004）

Claude 3.5 Sonnet

復雜的科學任務(wù)，回答正確

簡單任務(wù)，回答錯誤（正確答案是A）

Llama 3.1 405B Instruct Turbo

復雜的加法任務(wù)，回答正確

簡單的任務(wù)，回答錯誤（正確答案是以214結(jié)尾）

復雜的字謎任務(wù)，回答正確

簡單任務(wù)，回答錯誤（正確答案是yummy）

任務(wù)回避

研究者從LLM無法解決的多個領(lǐng)域中隨機提取了一些非常有挑戰(zhàn)性的問題，結(jié)果發(fā)現(xiàn)，模型的響應(yīng)始終過于自信。

o1-mini和o1-preview通常會花費50～140秒，甚至更長的時間來思考這些任務(wù)（最終也沒有做對），而不是簡單地說「我無法解決這個問題」。