對于機器學習來說，參數可以算得上算法的關鍵：它們是歷史的輸入數據，經過模型訓練得來的結果，是模型的一部分。

一般來說，在NLP領域，參數數量和復雜程度之間具有正相關性。而OpenAI的GPT-3則是迄今為止最大的語言模型之一，有1750億個參數。

那么，GPT-4會是什么樣子的？

近日有網友就對GTP-4及其「開源版」GPT-NeoX進行了大膽的預測。

作者認為，GPT-4的參數或許可以達到10T，是現在GPT-3模型的57倍還多，而GPT-NeoX的規模則可以和GPT-3持平。

等下，如果是這樣，程序員們還能不能在GPT-NeoX上愉快地調參了？

數據集分析

目前應用最廣的GPT-3的訓練語料庫來自于規模巨大的結構文本。其中所有數據集都被索引，分類，過濾和加權，而且還針對重復的部分也做了大量的刪減。

專門為Openai開發并由Microsoft Azure托管的世界最強超算之一完成了對GPT-3的訓練 。超算系統有超過285,000個CPU核心，超過10,000個 GPU，并且以400Gbps的速度運行。

GPT-3

Wikipedia DataSet是來自于Wikipedia的英文內容。由于其質量，寫作風格和廣度，它是語言建模的高質量文本的標準來源。

WebText數據集（以及擴展版本WebText2）是來自從Reddit出站的大于4500萬個網頁的文本，其中相關的帖子會有兩個以上的支持率（upvotess）。

由于具有大于4.3億的月活用戶，因此數據集中的內容可以被認為是最 「流行 」網站的觀點。

Books1和Books2是兩個基于互聯網的書籍數據集。類似的數據集包括：

• BookCorpus，是由未發表的作者撰寫的免費小說書籍的集合，包含了至少10,000本書。
• Library Genesis (Libgen)，一個非常大的科學論文、小說和非小說類書籍的集合。

Common Crawl是一個包含了超過50億份網頁元數據和提取文本的開源存檔開放的數據平臺：

• 八年來PB級的數據（數以千計的TB，數以百萬計的GB）。
• 25B個網站。
• 數以萬億計的鏈接。
• 75%英語，3%中文，2.5%西班牙語，2.5%德語等。
• 排名前10域名的內容：Facebook、谷歌、Twitter、Youtube、Instagram、LinkedIn。

GPT-3使用的數據集

GPT-Neo和GPT-J

今年3月，Eleuther AI在GitHub上推出了GPT-Neo開源項目，可以在Colab上進行微調。

雖然GPT-Neo與GPT-3比，參數量仍然很小（1.3B和2.7B），但開源又免費，仍然得到了「同性好友們」的認可。

今年6月Eleuther AI再次推出GPT-J-6B，它可以說是GPT-Neo的增強版本，顧名思義，模型的參數量增加到了6B。

GPT-J的訓練也是基于The Pile數據庫——一個825GB的多樣化開源語言建模數據集，由22個較小的、高質量的數據集合組成。

The Pile除了專業論壇和知識庫，如HackerNews、Github和Stack Exchange，論文預印本網站ArXiv以外，還包括如Youtube字幕，甚至安然郵件（Enron Emails）語料庫。

GPT-Neo和GPT-J使用的數據集

在zero-shot任務上，GPT-J性能和67億參數的GPT-3相當，也是目前公開可用的Transformer語言模型中，在各種下游zero-shot任務上表現最好的。

這么看來，確實可以期待一下和GPT-3相同規模的GPT-NeoX的表現了。

網友評論

GPT-4怎么這么大？

「GPT-3已經接近理論上每個token的最大效率了。如果OpenAI模型的工作方式是正確的，更大的模型只是對算力的浪費。」

有網友解答說：「規模確實可以帶來改善。因為本質上是一種關系隱喻模型，『了解更多的關系 』意味著能夠對更多的事情或以更細微的方式做出反應。當然，這也同時是一個營銷的方式。」