[[426889]]

古代文人，或一觴一詠，暢敘幽情，或風(fēng)乎舞雩，詠而歸。「吟詩作對」成為他們的標(biāo)配。剛剛，全球最大人工智能巨量模型「源1.0」發(fā)布，能賦詩作詞，比人類還像人類。

理科生文藝起來，可能真沒文科生什么事兒了。

不信？你看看這首七言詩：

雖非蟾宮謫降仙，何懼冰殿冷徹骨。

窺簾斜視金屋小，多少俊才在此關(guān)。

讀完之后，不得不說真牛啤！意境內(nèi)涵都很贊。

不僅能寫詩，還能做詞，比如下面這首：

疑是九天有淚，

為我偷灑。

滴進(jìn)西湖水里，

沾濕一千里外的月光，

化為我夢里的云彩。

你能想象，這是完全不懂寫詩的理工生的杰作嗎？

確實(shí)如此。簡直讓李白看了會沉默，讓杜甫看了會流淚。

這就是浪潮剛剛發(fā)布的全球最大規(guī)模人工智能巨量模型，名曰「源1.0」。

除了能夠作詩賦詞，它還能對話、寫對聯(lián)、生成新聞、故事續(xù)寫...

2457億參數(shù)，這個全球最大規(guī)模人工智能巨量模型可是讀了2000億詞。

要知道，一個人的一生也沒有辦法讀完這么多詞語。

既然稱為全球最大，有多大？

全球超大規(guī)模人工智能巨量模型！

全球最大這個稱號可不是鬧著玩的！

「源1.0」不管是在算法、數(shù)據(jù)還是算力上，都做到了超大規(guī)模和巨量化。

算法方面，相比于1750億參數(shù)的英文語言模型GTP-3，「源1.0」共包含了2457億個參數(shù)，是前者參數(shù)量的1.404倍。

而且，最重要的是，「源1.0」和GPT-3一樣都是單體模型，而不是由很多小模型堆砌起來的。就單單在這一個方面，「源1.0」就可以榮登全球最大的自然語言理解模型了。

圖源：writeup.ai

數(shù)據(jù)方面，「源1.0」幾乎是把近5年整個中文互聯(lián)網(wǎng)的浩瀚內(nèi)容全部「讀」完了。通過自研的文本分類模型，獲得了5TB高質(zhì)量中文數(shù)據(jù)集，在訓(xùn)練數(shù)據(jù)集規(guī)模上領(lǐng)先近10倍。

此外，「源1.0」還閱讀了大約2000個億詞。這是什么概念呢？

假如人一個月能讀十本書，一年讀一百本書，讀50年，一生也就讀5000本書，一本書假如20萬字，加起來也只有10億字，需要一萬年才能讀完2000億詞。在如此大規(guī)模的數(shù)據(jù)加持下，「源1.0」的數(shù)據(jù)集也自然成為了全球最大的高質(zhì)量中文數(shù)據(jù)集。

算力方面，「源1.0」共消耗約4095PD（PetaFlop/s-day）。相對于GPT-3消耗3640PD計(jì)算量得到1750億參數(shù)，計(jì)算效率大幅提升。如果說，讓「源1.0」一天24小時不間斷「閱讀」的話，只需要16天就可以看完近五年中文互聯(lián)網(wǎng)的幾乎全部內(nèi)容。

嗯？原來已經(jīng)把近5年的中文互聯(lián)網(wǎng)內(nèi)容全學(xué)完了？

u1s1，「源1.0」yyds！

成果如何呢？

你猜，這些對話中，每個問題對應(yīng)的A和B中，哪個是「源1.0」生成的呢？（答案在文末）

親自體驗(yàn)「圖靈測試」是不是很好玩？別急，后面還有很多題等著呢！

現(xiàn)在我們先來看看「源1.0」最厲害的模仿能力。也就是，對于一個完全不存在的「詞語」，只需要一個用例，「源1.0」就能學(xué)會這個「詞語」的用法。

看到這些熟悉的「詞」是不是感覺有那味了（doge）。突然有些期待，如果「源1.0」學(xué)會了「小丑竟是我自己」這個詞會怎么用，誒嘿嘿。

既然提到了圖靈測試，那我們就來看看測試的結(jié)果怎么說？

「源1.0」在測試中實(shí)現(xiàn)了高達(dá)50.84%的平均誤判率！

圖靈測試采用「問」與「答」模式，即觀察者通過控制打字機(jī)向兩個測試對象通話，其中一個是人，另一個是機(jī)器。觀察者不斷提出各種問題，從而辨別回答者是人還是機(jī)器。

通常認(rèn)為，進(jìn)行多次測試后，如果機(jī)器讓平均每個參與者做出超過30%的誤判，那么這臺機(jī)器就通過了測試，并被認(rèn)為具有人類智能。

在「源1.0」的測試結(jié)果中，受訪者的平均區(qū)分正確率是49.16%，這意味著平均誤判率為50.84%。在新聞生成這一領(lǐng)域，誤判率更是高達(dá)57.88%。

其中，正確率是指能正確將機(jī)器生成的文本識別出來的比例。正確率<70%，意味誤判率超過30%。

數(shù)據(jù)看著太單調(diào)？沒事！大家期待的「真題」環(huán)節(jié)來了！

答案在文末哦～

世界第一是怎樣一種體驗(yàn)？

那么，這個拿下世界第一的最大AI模型，到底有多強(qiáng)？

不如拉出來跑個分、刷個榜看看！

英文語言模型評測有GLUE、SuperGLUE，例如GPT-3這類的各種預(yù)訓(xùn)練模型都會在上面進(jìn)行評估。和GLUE類似，CLUE是中文第一個大規(guī)模的語言評估基準(zhǔn)。其中包了括代表性的數(shù)據(jù)集、基準(zhǔn)（預(yù)訓(xùn)練）模型、語料庫和排行榜。而這些數(shù)據(jù)集也會覆蓋不同的任務(wù)、數(shù)據(jù)量、任務(wù)難度等。

順便安利一下最近新出的國內(nèi)首個以數(shù)據(jù)為中心的AI測評DataCLUE。

言歸正傳，「源1.0」占據(jù)了零樣本學(xué)習(xí)（zero-shot）和小樣本學(xué)習(xí)（few-shot）2項(xiàng)榜單的榜首。

在ZeroCLUE零樣本學(xué)習(xí)榜單中，「源1.0」以超越業(yè)界最佳成績18.3%的絕對優(yōu)勢遙遙領(lǐng)先。其中，在文獻(xiàn)分類、新聞分類，商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關(guān)系6項(xiàng)任務(wù)中獲得冠軍。

https://www.cluebenchmarks.com/zeroclue.html

在FewCLUE小樣本學(xué)習(xí)榜單中，「源1.0」獲得了文獻(xiàn)分類、商品分類、文獻(xiàn)摘要識別、名詞代詞關(guān)系等4項(xiàng)任務(wù)的冠軍。

https://www.cluebenchmarks.com/fewclue.html

零樣本學(xué)習(xí)，就是訓(xùn)練的分類器不僅僅能夠識別出訓(xùn)練集中已有的數(shù)據(jù)類別，還可以對于來自未見過的類別的數(shù)據(jù)進(jìn)行區(qū)分。從原理上來說，是讓計(jì)算機(jī)具備人類的推理和知識遷移能力，無需任何訓(xùn)練數(shù)據(jù)就能夠識別出一個從未見過的新事物。

小樣本學(xué)習(xí)，就是使用遠(yuǎn)小于深度學(xué)習(xí)所需要的數(shù)據(jù)樣本量，達(dá)到接近甚至超越大數(shù)據(jù)深度學(xué)習(xí)的效果。而是否擁有從少量樣本中學(xué)習(xí)和概括的能力，是將人工智能和人類智能進(jìn)行區(qū)分的明顯分界點(diǎn)。因?yàn)槿祟惪梢詢H通過一個或幾個示例就可以輕松地建立對新事物的認(rèn)知，而機(jī)器學(xué)習(xí)算法通常需要成千上萬個有監(jiān)督樣本來保證其泛化能力。

圖源：Akira AI

說了半天，「源1.0」的小樣本學(xué)習(xí)和零樣本學(xué)習(xí)這么厲害有啥用呢？

這就要提到巨量模型的一個非常重要的意義了：強(qiáng)大的統(tǒng)一泛化能力。

對于大部分規(guī)模比較小的模型來說，需要針對每一個新的任務(wù)重新做微調(diào)，給它喂相應(yīng)的數(shù)據(jù)集，在做了大量的工作之后才能在新場景下應(yīng)用。而對于巨量模型，在面臨不同應(yīng)用任務(wù)的時候，則不需要做大量的重新訓(xùn)練和重新調(diào)整。

浪潮人工智能研究院首席研究員吳韶華表示：「你不用喂巨量模型那么多數(shù)據(jù)去做訓(xùn)練，就可以在一個新的應(yīng)用場景里面得到非常好的結(jié)果。」

所以說巨量模型的適應(yīng)能力非常強(qiáng)，可以極大地減少產(chǎn)業(yè)界在應(yīng)用模型的時候，不管是在數(shù)據(jù)還是在微調(diào)方面的投入，從而加快產(chǎn)業(yè)的發(fā)展進(jìn)程。

如何評價(jià)？

大模型正在成為AI發(fā)展趨勢，是必爭的高地。

時間要倒回三年前... 當(dāng)時的預(yù)訓(xùn)練模型，讓深度神經(jīng)網(wǎng)絡(luò)，以及大規(guī)模無標(biāo)注數(shù)據(jù)的自監(jiān)督能力成功激活。

深度學(xué)習(xí)模型和性能這一開關(guān)同時被打開，尤其是NLP領(lǐng)域。

Big Tech 在嘗到與訓(xùn)練模型帶來甜頭之后，紛紛對模型規(guī)模和性能展開了激烈的競爭。

從驚艷四座的谷歌BERT，到OpenAI的GPT-3，參數(shù)量不斷刷新，1750億參數(shù)，其能力也是不言而喻。

當(dāng)前，語言模型的訓(xùn)練已經(jīng)從「大煉模型」走向「煉大模型」的階段，巨量模型也成為業(yè)界關(guān)注的焦點(diǎn)。

近日，李飛飛等斯坦福研究者在論文中闡述了類巨量模型的意義在于突現(xiàn)和均質(zhì)。在論文中，他們給這種大模型取了一個名字，叫基礎(chǔ)模型（foundation model），并系統(tǒng)探討了基礎(chǔ)模型的機(jī)遇與風(fēng)險(xiǎn)。

https://arxiv.org/pdf/2108.07258.pdf

簡單說，大模型就是我們理解生命的進(jìn)化，從簡單到復(fù)雜的這樣一個過程。

我們把模型比作是元宇宙里面的生命，它擁有多大模型的這種復(fù)雜綜合系統(tǒng)的能力，可能就決定了未來在數(shù)字世界和智能世界里，它的智能水平到一個什么樣的程度。

今天，「源1.0」有2457億參數(shù)還不夠多，人類的神經(jīng)元突觸超過100萬億，所以依然有很長的路要走。

而「源1.0」創(chuàng)新點(diǎn)在哪？通過協(xié)同優(yōu)化，「源1.0」攻克了在巨量數(shù)據(jù)和超大規(guī)模分布式訓(xùn)練的擴(kuò)展性、計(jì)算效率、巨量模型算法及精度提升等方面的業(yè)界難題。

算法上：

1. 解決了巨量模型訓(xùn)練不穩(wěn)定的業(yè)界難題，提出了穩(wěn)定訓(xùn)練巨量模型的算法；
2. 提出了巨量模型新的推理方法，提升模型的泛化能力，讓一個模型可以應(yīng)用于更多的場景。

數(shù)據(jù)上：

創(chuàng)新地提出了中文數(shù)據(jù)集的生成方法，通過全新的文本分類模型，可以有效過濾垃圾文本，并生成高質(zhì)量中文數(shù)據(jù)集。

算力上：

「源1.0」通過算法與算力協(xié)同優(yōu)化，使模型更利于GPU性能發(fā)揮，極大的提升了計(jì)算效率，并實(shí)現(xiàn)業(yè)界第一訓(xùn)練性能的同時實(shí)現(xiàn)業(yè)界領(lǐng)先的精度。

圖源：跨象乘云

那么，開發(fā)者們能從這塊「黑土地」上得到什么？

浪潮源1.0大模型只是一個開始，它只是提供一片廣闊的肥沃土壤。

浪潮未來將定向開放大模型API，服務(wù)于元腦生態(tài)社區(qū)內(nèi)所有開發(fā)者，供全球的開發(fā)人員在平臺上開發(fā)應(yīng)用于各行各業(yè)的應(yīng)用程序。

各種應(yīng)用程序可以通過浪潮提供的 API進(jìn)行基于大模型的搜索、對話、文本完成和其他高級 AI 功能。

其實(shí)，不管是1750億參數(shù)，還是2457億巨量參數(shù)語言模型，最重要的是它能否真正為我們所用。要說上陣，真正的含義并不是在發(fā)布會上的首秀，而是下場去在實(shí)際場景中發(fā)揮它的作用和價(jià)值。

浪潮信息副總裁劉軍表示，「首先從大模型誕生本身來說，還有另外一個意義，那便是對于前沿技術(shù)的探索，需要有大模型這么一個平臺，在這個平臺上才能支撐更進(jìn)一步的創(chuàng)新。」

「其次，在產(chǎn)業(yè)界我們很多產(chǎn)業(yè)代表提出來的殺手級的應(yīng)用場景，比如說運(yùn)營商智能運(yùn)維，在智能辦公場景報(bào)告的自動生成，自動對話智能助手。」

「源1.0」大模型能夠從自然語言中「識別主題并生成摘要」的能力，讓各行各業(yè)公司的產(chǎn)品、客戶體驗(yàn)和營銷團(tuán)隊(duì)更好地了解客戶的需求。

例如，未來大模型從調(diào)查、服務(wù)臺票證、實(shí)時聊天日志、評論等中識別主題、情緒，然后從這個匯總的反饋中提取見解，并在幾秒鐘內(nèi)提供摘要。

如果被問到「什么讓我們的客戶對結(jié)賬體驗(yàn)感到沮喪？」

大模型可能會提供這樣的見解：「客戶對結(jié)賬流程感到沮喪，因?yàn)榧虞d時間太長。他們還想要一種在結(jié)賬時編輯地址并保存多種付款方式的方法。」

未來，浪潮源1.0大模型將推動創(chuàng)新企業(yè)及個人開發(fā)者基于大模型構(gòu)建智能化水平更高的場景應(yīng)用，賦能實(shí)體經(jīng)濟(jì)智能化升級，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。

圖靈測試答案

對話

對聯(lián)

詩歌