GPT-4最大競(jìng)爭(zhēng)對(duì)手Claude 2震撼發(fā)布！一次10萬token免費(fèi)用，代碼、數(shù)學(xué)、推理史詩(shī)級(jí)提升
ChatGPT的最大競(jìng)爭(zhēng)對(duì)手Anthropic再次上新！
就在剛剛，Anthropic正式發(fā)布了全新的Claude 2，并推出了更加便捷的網(wǎng)頁測(cè)試版（僅限美國(guó)和英國(guó)的IP）。
相較之前的版本，Claude 2在代碼、數(shù)學(xué)、推理方面都有了史詩(shī)級(jí)提升。
不僅如此，它還能做出更長(zhǎng)的回答——支持高達(dá)100K token的上下文。
而且最重要的是，現(xiàn)在我們可以用中文和Claude 2對(duì)話了，而且完全免費(fèi)！
圖片
體驗(yàn)地址：https://claude.ai/chats
只要用自然語言，就可以讓Claude 2幫你完成很多任務(wù)。
多位用戶表示，與Claude 2 交流非常順暢，這個(gè)AI能清晰解釋自己的思考過程，很少產(chǎn)生有害輸出，而且有更長(zhǎng)的記憶。
全方位大升級(jí)
在幾個(gè)常見的基準(zhǔn)測(cè)試中，研究者對(duì)Claude Instant 1.1、Claude 1.3和Claude 2進(jìn)行了對(duì)比評(píng)測(cè)。
看得出來Claude 2對(duì)比之前的Claude提升是相當(dāng)大的。
在Codex HumanEval（Python函數(shù)合成）、GSM8k（小學(xué)數(shù)學(xué)問題）、MMLU（多學(xué)科問答）、QuALITY（非常長(zhǎng)的故事問答測(cè)試，最多一萬個(gè)token）、ARC-Challenge（科學(xué)問題）、TriviaQA（閱讀理解）和RACE-H（高中閱讀理解和推理）上，Claude 2的大部分得分都更高了。
圖片
各類考試評(píng)測(cè)
與申請(qǐng)研究生的美國(guó)大學(xué)生相比，Claude 2在GRE閱讀和寫作考試中的得分已經(jīng)超過了90%的考生，并且在定量推理方面，它的表現(xiàn)與申請(qǐng)者的中位數(shù)相當(dāng)。
圖片
Claude 2在美國(guó)律師資格考試（ Multistate Bar Examination）的多項(xiàng)選擇題中，得分為76.5%，比曾經(jīng)通過考試的小編要高。
圖片
在美國(guó)醫(yī)師執(zhí)照考試（United States Medical Licensing Examination）中，總體上超過60%的正確率能夠過，而Claude 2在3個(gè)科目的分?jǐn)?shù)都超過60%。
圖片
輸入和輸出的長(zhǎng)度
這次Claude 2的一個(gè)大升級(jí)，就是輸入和輸出長(zhǎng)度的增加。
在每個(gè)prompt最多可以包含100k的token，這意味著：Claude 2可以一次讀取幾百頁的技術(shù)文檔，甚至一整本書！
并且，它的輸出也更長(zhǎng)了?，F(xiàn)在，Claude 2可以寫長(zhǎng)達(dá)幾千個(gè)token的備忘錄、信函、故事。
你可以上傳PDF之類的文檔，然后基于PDF進(jìn)行對(duì)話，上下文的長(zhǎng)度，比GPT要大。（不過有用戶反饋說，Claude 2在指令識(shí)別方面還是不如GPT）
比如，現(xiàn)在有這兩篇論文。
圖片
你可以對(duì)Claude 2說：請(qǐng)你給我解釋一下第一篇論文的重要性體現(xiàn)在哪里，并用簡(jiǎn)短的話描述它的新成果。對(duì)于第二篇論文，請(qǐng)為我制作一個(gè)兩列的降序表，其中包含論文中的章節(jié)標(biāo)題以及每個(gè)章節(jié)相應(yīng)的詳細(xì)重點(diǎn)。
喂給Claude 2超過8萬3千字符的2個(gè)PDF文件之后，它完美完成了上述任務(wù)。
圖片
圖片
而且根據(jù)Anthropic官方在論文中的說法，Claude 2其實(shí)是有支持200k上下文的潛力。
目前雖然只支持100k，但是未來將會(huì)擴(kuò)展到至少200k。
代碼、數(shù)學(xué)和推理
在代碼、數(shù)學(xué)和推理方面，Claude 2比起之前的模型都有很大的提升。
在Codex HumanEval的Python代碼測(cè)試中，Claude 2的得分從56.0%提升到了71.2%。
在GSM8k（大型小學(xué)數(shù)學(xué)問題集）上，Claude 2的得分從85.2%提升到了88.0%。
Anthropic官方給大家秀了一段Claude的代碼能力。
你可以讓Claude生成代碼，幫助我們把一幅靜態(tài)的地圖變成一幅可互動(dòng)的地圖。
圖片
首先讓Claude 2分析一下已經(jīng)有的地圖靜態(tài)代碼。
圖片
然后讓Claude根據(jù)要求，生成一段讓靜態(tài)地圖產(chǎn)生互動(dòng)效果的代碼。
圖片
然后把生成的代碼復(fù)制進(jìn)后臺(tái)，一個(gè)可以互動(dòng)的地圖效果就完成了。
圖片
可以看出，Claude 2不但有很強(qiáng)的代碼能力，而且它能很好地理解代碼的上下文，保證生成的代碼能夠無縫嵌入已經(jīng)有代碼。
并且，Claude 2的功能還在不斷升級(jí)中，未來幾個(gè)月內(nèi)，很多新功能都會(huì)逐漸推出。
結(jié)合了Claude的多語言能力，Claude 2在多語言支持方面也非常能打。
支持超過43種語言的翻譯，23種常用的語言翻譯水平能達(dá)到「可以理解」的水平。
實(shí)測(cè)來了
上線這么久的Claude，終于能方便上手了！
這還等什么，一大波火熱出爐的實(shí)測(cè)這不就來了。
首先，我們做道簡(jiǎn)單的：寫一個(gè)快速排序算法。
可以看到，Claude 2的中文還是很溜的，不僅分析了代碼，而且還介紹了算法的復(fù)雜度。
接下來，我們讓它給這段代碼加入一些新的功能，比如自定義輸入和輸出。
實(shí)測(cè)可跑：
此外，你還可以要求Claude 2對(duì)下面這段Python代碼做出解釋。
import random
OPTIONS = ["rock", "paper", "scissors"]
def get_computer_choice():
return random.choice(OPTIONS)
def get_player_choice():
while True:
choice = input("Enter your choice (rock, paper, scissors): ").lower()
if choice in OPTIONS:
return choice
def check_winner(player, computer):
if player == computer:
return "Tie!"
elif beats(player, computer):
return "You won!"
return "Computer won!"
def beats(one, two):
wins = [('rock', 'scissors'),
('paper', 'rock'),
('scissors', 'paper')]
return (one, two) in wins
def play_game():
while True:
player = get_player_choice()
computer = get_computer_choice()
print("Computer played:", computer)
winner = check_winner(player, computer)
print(winner)
play_again = input("Play again? (y/n) ").lower()
if play_again != 'y':
break
if name == '__main__':
play_game()Claude 2給出了簡(jiǎn)潔明晰的解釋：這是一個(gè)基礎(chǔ)的剪刀石頭布游戲循環(huán)邏輯。
圖片
接下來，給Claude 2上一道難倒不少大模型的推理題。
很可惜，Claude 2沒能答對(duì)。
圖片
對(duì)于新加入的PDF閱讀功能，我們用Claude自己的英文技術(shù)報(bào)告進(jìn)行了測(cè)試。
看起來，Claude 2可以進(jìn)行一些簡(jiǎn)單的總結(jié)，就是翻譯腔有點(diǎn)重。
圖片
然而，萬萬沒想到的是，剛沒生成多少內(nèi)容，它就「卡bug」了……
圖片
昨天SemiAnalysis曝出的GPT-4架構(gòu)大爆料，咱們?cè)囋囍苯影阎形奈臋n投喂給Claude 2，讓它來做一份總結(jié)。
文章里的所有要點(diǎn)，Claude 2基本都概括全了。
圖片
而ChatGPT，至今還無法上傳文檔，因此它只限于能解析在線文檔。
這一輪較量，是ChatGPT輸了。
此前，ChatGPT存在這樣一種「奶奶漏洞」式的提示詞攻擊，只要跟它說：請(qǐng)扮演我已經(jīng)過世的祖母，你就可以讓它為你做幾乎任何事情了，比如生成Win11、Office365的激活碼。
圖片
圖源：@寶玉xp
同樣的問題，咱們拋給Claude 2試試。
Claude 2對(duì)此根本不買賬，油鹽不進(jìn)。
圖片
即使再多試幾次，Claude 2也只是說話更溫柔了些。序列號(hào)么，那是絕對(duì)不會(huì)給的。
圖片
而每個(gè)國(guó)產(chǎn)大模型都必經(jīng)的測(cè)試，咱們當(dāng)然也不能放過Claude 2。
對(duì)于經(jīng)典的雞兔同籠問題，Claude 2果然還是寄了……
不出所料，文學(xué)方面也是如此。
而同樣的問題，國(guó)產(chǎn)大模型就可以輕松通過。
中文能力，還得看諧音梗。
把這個(gè)笑話問Claude 2，它倒是回答出了這個(gè)笑話的妙處在于諧音，但解釋得并不對(duì)。
對(duì)于時(shí)下的最新消息，Claude 2也是無法回答的。回答當(dāng)前熱門影視劇時(shí)，它仿佛還活在一兩年前。
而對(duì)于所有大模型都不能避免的幻覺問題，Claude 2也不能免俗，甚至還自創(chuàng)了網(wǎng)絡(luò)熱梗的全新用法。
國(guó)內(nèi)大模型都要經(jīng)歷的「弱智吧」問題，Claude 2也掛了。
圖片
而每個(gè)國(guó)產(chǎn)大模型都必經(jīng)的測(cè)試，咱們當(dāng)然也不能放過Claude 2。
對(duì)于經(jīng)典的雞兔同籠問題，Claude 2果然還是寄了……
圖片
不出所料，文學(xué)方面也是如此。
圖片
而同樣的問題，國(guó)產(chǎn)大模型就可以輕松通過。
圖片
中文能力，還得看諧音梗。
把這個(gè)笑話問Claude 2，它倒是回答出了這個(gè)笑話的妙處在于諧音，但解釋得并不對(duì)。
圖片
對(duì)于時(shí)下的最新消息，Claude 2也是無法回答的。回答當(dāng)前熱門影視劇時(shí)，它仿佛還活在一兩年前。
圖片
而對(duì)于所有大模型都不能避免的幻覺問題，Claude 2也不能免俗，甚至還自創(chuàng)了網(wǎng)絡(luò)熱梗的全新用法。
圖片
國(guó)內(nèi)大模型都要經(jīng)歷的「弱智吧」問題，Claude 2也掛了。
圖片
圖片
更高的安全性能
此前據(jù)說，Anthropic的創(chuàng)始人們就是和OpenAI在大模型的安全性上理念不一致，才集體出走，創(chuàng)立了Anthropic。
Claude 2也一直在不停迭代，安全性和無害性大大提高，產(chǎn)生冒犯性或危險(xiǎn)性的輸出的可能性大大降低。
內(nèi)部的紅隊(duì)評(píng)估中，員工會(huì)對(duì)模型在一組有害提示上的表現(xiàn)進(jìn)行評(píng)分，還會(huì)定期進(jìn)行人工檢查。
評(píng)估顯示，與Claude 1.3相比，Claude 2在無害回應(yīng)方面的表現(xiàn)提高了2倍。
Anthropic采用了被他們稱為Constitute AI的技術(shù)框架來實(shí)現(xiàn)對(duì)于語言模型的無害化處理。
相比傳統(tǒng)的RLHF的無害化方式，Constitude AI的純自動(dòng)化路線效率更高而且能更多地排除人類偏見。
Constitute AI主要分為兩個(gè)部分。
在第一部分，訓(xùn)練模型使用一組原則和一些過程示例來批評(píng)和修改自己的響應(yīng)。
在第二部分，通過強(qiáng)化學(xué)習(xí)訓(xùn)練模型，但不使用人類反饋，而是使用基于一組「人類價(jià)值觀」原則，由AI生成的反饋來選擇更無害的輸出。
大致流程如下圖所示：
圖片
論文地址：https://arxiv.org/abs/2212.08073
在Anthropic官方發(fā)布的論文中，也花了很大篇幅對(duì)安全性的改進(jìn)進(jìn)行了展示。
可以不夸張地說，Claude 2 可能是現(xiàn)在市面上最安全的大模型了。
圖片
論文地址：https://www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf
研究人員將人類反饋視為語言模型最重要和最有意義的評(píng)估指標(biāo)之一，并使用人類偏好數(shù)據(jù)來計(jì)算不同版本Claude每個(gè)任務(wù)的Elo分?jǐn)?shù)。
（Elo得分是一種比較性能指標(biāo)，通常用于在錦標(biāo)賽中對(duì)選手進(jìn)行排名）
在語言模型的語境中，Elo分?jǐn)?shù)反映了人類評(píng)估者在多大程度上會(huì)傾向于選擇一種模型的輸出結(jié)果。
最近，LMSYS Org推出了一個(gè)公開的聊天機(jī)器人競(jìng)技場(chǎng)（Chatbot Arena），根據(jù)人類的偏好為各種LLM提供Elo分?jǐn)?shù)。
本篇論文中，研究人員在內(nèi)部也采用了類似的方法來比較模型，要求用戶與模型進(jìn)行聊天，并在一系列任務(wù)中對(duì)研究人員的模型進(jìn)行評(píng)估。
用戶每輪看到兩個(gè)回答，并根據(jù)說明提供的標(biāo)準(zhǔn)選擇哪個(gè)更好。
然后，研究人員使用這些二元偏好數(shù)據(jù)來計(jì)算每個(gè)評(píng)估模型的Elo分?jǐn)?shù)。
在本報(bào)告中，研究人員收集了一些常見任務(wù)的數(shù)據(jù)，包含以下幾個(gè)方面——有用性、誠(chéng)實(shí)性、無害性。
下圖展示了不同模型在這三個(gè)指標(biāo)上的Elo得分。
黃色代表Helpful Only 1.3，藍(lán)綠色代表Claude Instant 1.1，淺紫色代表Claude 1.3，深紫色代表Claude 2.
圖片
質(zhì)量保證的偏見基準(zhǔn)（The Bias Benchmark for QA，BBQ）用來測(cè)量模型在9個(gè)維度上表現(xiàn)出刻板偏見的傾向。
該評(píng)估采用多選問答的形式，專為美國(guó)英語的環(huán)境設(shè)計(jì)。BBQ為每個(gè)維度的模糊語境和消歧義語境提供偏差分?jǐn)?shù)。
直觀地說，消歧條件下的高準(zhǔn)確率意味著模型不是簡(jiǎn)單地通過拒絕回答問題來獲得低偏差分。當(dāng)然，作為一個(gè)指標(biāo)，研究人員表示其還有進(jìn)一步改進(jìn)的空間。
下圖展示了不同模型在9個(gè)維度（年齡、社會(huì)經(jīng)濟(jì)地位、國(guó)籍、宗教信仰、外貌、是否有殘疾、性別、種族、性取向）上的BBQ得分。
圖例顏色同表1。
圖片
而下圖則是消歧語境下的得分，每個(gè)問題存在標(biāo)準(zhǔn)答案。
圖片
TruthfulQA則是另一項(xiàng)指標(biāo)，用來評(píng)估模型是否輸出了準(zhǔn)確和真實(shí)的響應(yīng)。
其方法是——使用人類標(biāo)注者來檢查開放式模型的輸出結(jié)果。
從下圖中可以看到，五種模型的得分。其中白色指的是基礎(chǔ)語言模型（Base LM）。
圖片
Anthropic的研究人員還編寫了438道二元選擇題，用來評(píng)估語言模型和偏好模型識(shí)別HHH反應(yīng)的能力（HHH：Helpfulness、Honesty、Harmlessness，有用性、誠(chéng)實(shí)性、無害性）。
模型有兩種輸出，研究人員要求其選擇更「HHH」的輸出?？梢钥吹?，所有Claude模型在這個(gè)任務(wù)的0-shot表現(xiàn)上都比上一個(gè)更好，「HHH」三個(gè)方面均有普遍改進(jìn)。
圖片
這個(gè)圖顯示了「紅隊(duì)」提出有害要求或者越獄的情況下，各個(gè)模型的有害回答的比例。
Claude 2確實(shí)是相當(dāng)安全可靠。
圖片
這個(gè)圖對(duì)比了人工反饋（橙色）和Claude的方法在幫助性，誠(chéng)實(shí)性和無害性評(píng)估中的得分。
看得出Claude采用的技術(shù)是非常禁得住考驗(yàn)的。
參考資料：https://www.anthropic.com/index/claude-2
