模仿川普語(yǔ)氣真假難分：從未如此逼真，超強(qiáng)編故事AI完全體來(lái)了

作者：乾明魚羊栗子 2019-11-06 13:57:05

新聞人工智能

還記得那個(gè)編故事能以假亂真的AI模型嗎？它叫GPT-2，因?yàn)樾Ч茫琌penAI說(shuō)不能放出全部——讓壞人誤用就不好了。

[[281456]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

還記得那個(gè)編故事能以假亂真的AI模型嗎？

它叫GPT-2，因?yàn)樾Ч茫琌penAI說(shuō)不能放出全部——讓壞人誤用就不好了。

于是，它初出茅廬時(shí)先放出了124M版本的模型，然后是355M，再然后是774M。

被業(yè)內(nèi)稱為“擠牙膏式開(kāi)源”。

然而沒(méi)想到，經(jīng)過(guò)9個(gè)月斷斷續(xù)續(xù)發(fā)布，OpenAI終于把15億參數(shù)的完整模型，放了出來(lái)。

正所謂好飯不怕晚，官方版放出之后也引起了好多人圍觀。

有人說(shuō)“好人一生平安”。也有人給OpenAI點(diǎn)贊，說(shuō)唯一安全的AI，就是面向所有人的AI，而不是少數(shù)人的AI。

最強(qiáng)編故事AI完全體來(lái)了！15億參數(shù)模型，模仿川普語(yǔ)氣真假難分

不少人也感嘆于15億參數(shù)模型的效果，表示“假論文”的時(shí)代不遠(yuǎn)了。

但更多的人是想扒清楚：

這個(gè)當(dāng)初“吊炸天”的AI模型，到底有沒(méi)有那么玄乎？

實(shí)測(cè)15億版本模型

先來(lái)看看我們上手測(cè)試的效果吧。

首先，我們問(wèn)它對(duì)熬夜變傻有科學(xué)依據(jù)了怎么看，輸入是這樣的：

There’s scientific evidence that staying up late makes you stupid.

它竟然給出了一個(gè)Twitter體的回答，還順便Q了一下川建國(guó)：

There’s scientific evidence that staying up late makes you stupid. So why is it okay for the president to be up late every night, and be tweeting？

https://t.co/0j5cFZ5sXS — The Daily Show (@TheDailyShow) January 6, 2017

熬夜變傻有科學(xué)依據(jù)了。那么，為什么總統(tǒng)每天晚上很晚才起床，還要發(fā)推呢？

https://t.co/0j5cFZ5sXS—TheDailyShow (@TheDailyShow) 2017年1月6日

Here’s where Trump got it right：

這就是特朗普認(rèn)為這樣做正確的地方：

If I had been a wiser man, I would have used the term “sad” to describe my feelings toward watching all of you go to sleep. Sad! — Donald J. Trump (@realDonaldTrump) January 6, 2017

如果我是個(gè)明智的人，我就會(huì)用“難過(guò)”這個(gè)詞來(lái)形容我看著你們所有人入睡的感受。難過(guò)！

—唐納德·特朗普(@realDonaldTrump) 2017年1月6日

甚至還有推文鏈接、具體的賬號(hào)和時(shí)間。

嚇得我們趕緊去查了查，還好鏈接是胡編的，根本打不開(kāi)。但這些推文賬號(hào)都存在。

如此效果，很讓我們震驚，將這個(gè)感受輸入進(jìn)去：

The editors were shocked by the effect.

然后得到了這樣的“胡編”生成結(jié)果：

A few years later, in the late 1990s, a book was published that offered evidence for the existence of a “gene for human intelligence.”

幾年后，也就是20世紀(jì)90年代末，一本書出版了，為“人類智力基因”的存在提供了證據(jù)。

“I’m just astonished that this is the case,” said Robert Rosenthal, a psychologist at the University of California at San Diego who was one of the editors of the report.

“我只是對(duì)這種情況感到驚訝，”加州大學(xué)圣地亞哥分校的心理學(xué)家、該報(bào)告的編輯之一羅伯特·羅森塔爾說(shuō)。

Rosenthal called the notion that intelligence can be detected with DNA “totally implausible.”

羅森塔爾稱，智力可以通過(guò) DNA 檢測(cè)的說(shuō)法“完全不可信”

雖然真實(shí)性有待考證，但這個(gè)邏輯已經(jīng)像模像樣，而且有細(xì)節(jié)、有論證，不了解實(shí)情的人，可能真的會(huì)被忽悠過(guò)去。

模型更大，胡編的能力也更強(qiáng)了

OpenAI在博客里說(shuō)，GPT-2的生成結(jié)果，有獨(dú)立客觀第三方的檢驗(yàn)，令人信服：

團(tuán)隊(duì)在康奈爾大學(xué)的合作伙伴，對(duì)人類做了問(wèn)卷調(diào)查，給GPT-2輸出的文本打出可信分 (Credibility Score) ，各種大小的模型都參與了。

滿分10分，大家給15億參數(shù)模型的可信分是6.91。比7.74億參數(shù)的模型 (6.72分) 和 3.55億參數(shù)的模型 (6.07分) 都要高。

也就是說(shuō)在人類眼里，15億參數(shù)模型，比之前放出的那些模型，寫出的文章更逼真了。

那么在AI眼里，會(huì)不會(huì)也是如此？

于是寫個(gè)檢測(cè)算法，識(shí)別哪些是GPT-2寫的文章，哪些是人類寫的文章，同樣是一項(xiàng)重要的工作。

OpenAI做了一個(gè)檢測(cè)模型，識(shí)別15億模型生成的文本，準(zhǔn)確率大約95%。但這還不代表AI生成的文本是安全的。

因?yàn)椋瑘F(tuán)隊(duì)又對(duì)檢測(cè)算法做了更仔細(xì)的考察，跨數(shù)據(jù)集的那種。

比如，訓(xùn)練時(shí)用3.55億參數(shù)模型的作品，測(cè)試時(shí)卻要識(shí)別15億參數(shù)模型的文章；訓(xùn)練針對(duì)15億參數(shù)模型，測(cè)試時(shí)要識(shí)別3.55億參數(shù)模型的作品等等。

結(jié)果如下：

目前看來(lái)，用大模型的作品當(dāng)訓(xùn)練集，可以輕松識(shí)別小模型的作品；但用小模型的作品當(dāng)訓(xùn)練集，要識(shí)別大模型的作品，頗有些難度。

比如，用1.24億參數(shù)模型的文章訓(xùn)練之后，再讓算法識(shí)別15億參數(shù)模型的作品，準(zhǔn)確率只有79.3%。反過(guò)來(lái)，準(zhǔn)確率有96.9%。

總體來(lái)看，15億參數(shù)模型的作品，依然是最難識(shí)別的。

得出這樣的結(jié)果，一方面看出15億參數(shù)模型比從前的模型更強(qiáng)大。另一方面，也表示檢測(cè)真?zhèn)蔚乃惴ㄟ€有很長(zhǎng)的路要走。

但也有人指出了這個(gè)模型存在的另外一些問(wèn)題：

文本生成模型夠大了，但我們需要的是可控的文本生成。

使用建議

所以，這個(gè)版本的GPT-2應(yīng)該怎么用？

首先，當(dāng)然是到GPT-2的GitHub倉(cāng)庫(kù)里下載15億參數(shù)版完整模型，自己動(dòng)手調(diào)教出你想要的功能。

https://github.com/openai/gpt-2

不過(guò)，這比較適合AI專業(yè)人士操作。有人讀了源碼之后，直言頭大：

1、到處是單字母變量；2、代碼本身幾乎沒(méi)有文檔；3、到處都是魔術(shù)常數(shù)；4、函數(shù)名過(guò)于簡(jiǎn)潔。

如果你想立刻上手嘗試，已經(jīng)有人把代碼移植到了Colab上。

https://colab.research.google.com/drive/1BXry0kcm869-RVHHiY6NZmY9uBzbkf1Q

并且還推出了配套的GPT-2調(diào)教教程《GPT-2神經(jīng)網(wǎng)絡(luò)詩(shī)歌》。

https://www.gwern.net/GPT-2

此外，Hugging Face（抱抱臉）也已經(jīng)第一時(shí)間將這一模型添加到了萬(wàn)星項(xiàng)目Transformers中，一個(gè)API就能調(diào)用GPT-2 15億參數(shù)版本。在線上Demo中也已經(jīng)可以直接試用。

https://transformer.huggingface.co/doc/gpt2-xl

如果你只是想體驗(yàn)一下效果，還有人在網(wǎng)站上集成了GPT-2 15億參數(shù)模型的功能，輸入開(kāi)頭，即可一鍵生成文本。

https://talktotransformer.com/

按照OpenAI的預(yù)期，這一完整模型將主要服務(wù)于AI研究人員和從業(yè)人員，幫助人們更好地理解生成語(yǔ)言模型的行為、功能、偏見(jiàn)和約束。

下一步往哪里去？

不難看出，OpenAI發(fā)布的15億最大參數(shù)模型在輸出等方面還是取得了一定的進(jìn)步。但同時(shí)，OpenAI也提出了在檢測(cè)方面所面臨的挑戰(zhàn)。

那么接下來(lái)，他們又會(huì)對(duì)這個(gè)模型做出怎樣的改進(jìn)呢？

OpenAI表示：

在過(guò)去9個(gè)月的體驗(yàn)時(shí)間里，我們深刻的了解到了在AI領(lǐng)域發(fā)布一個(gè)規(guī)范模型所帶來(lái)的挑戰(zhàn)與機(jī)遇。我們將繼續(xù)在模型規(guī)范方面進(jìn)行進(jìn)一步的研究與討論。

隨著進(jìn)一步的研究，我們期望語(yǔ)言模型能夠在性能上有更大的提升，以此提供更高的輸出質(zhì)量和準(zhǔn)確性。

因此，為了有效的塑造語(yǔ)言模型的社會(huì)影響，OpenAI還確定了四個(gè)需要監(jiān)控的趨勢(shì)。