AI 創(chuàng)意大比拼！華盛頓大學(xué)和艾倫人工智能研究所聯(lián)手，用幽默風(fēng)趣的方式，揭示了 AI 創(chuàng)意背后的真相 原創(chuàng)
你是否曾為 ChatGPT 生成的那首“驚艷”詩(shī)歌而贊嘆不已？又或是被 GPT-4 編寫(xiě)的“神級(jí)”劇本所折服？然而，華盛頓大學(xué)和艾倫人工智能研究所的最新研究卻給我們潑了一盆冷水——AI 的“創(chuàng)意”，其實(shí)不過(guò)是“拼湊大師”罷了！
研究人員們開(kāi)發(fā)了一套名為“創(chuàng)意指數(shù)”（CREATIVITY INDEX）的評(píng)估體系，通過(guò)分析文本中與網(wǎng)絡(luò)文本的相似度，來(lái)衡量 AI 的“創(chuàng)意”程度。結(jié)果令人驚訝——專(zhuān)業(yè)人類(lèi)作者的“創(chuàng)意指數(shù)”平均比 AI 高出 66.2%！這簡(jiǎn)直就像是一場(chǎng)“拼圖大賽”，人類(lèi)作者用獨(dú)特的視角和豐富的想象力，拼出了一個(gè)個(gè)精彩絕倫的作品，而 AI 則不過(guò)是“撿起”了網(wǎng)絡(luò)上的碎片，拼湊出了“新”的“作品”而已。
別急，這可不是什么“黑科技”，而是基于嚴(yán)謹(jǐn)?shù)乃惴ê秃Ａ繑?shù)據(jù)得出的結(jié)論。研究人員們還開(kāi)發(fā)了一套名為“DJ 搜索”（DJ SEARCH）的算法，能夠快速找出文本中與網(wǎng)絡(luò)文本的相似度，為“創(chuàng)意指數(shù)”的計(jì)算提供了有力保障。
這項(xiàng)研究不僅揭示了 AI 創(chuàng)意的真相，還為我們?cè)跀?shù)字時(shí)代如何更好地使用 AI 提供了新的思路。畢竟，與其讓 AI 做一個(gè)“拼圖大師”，不如讓它成為一個(gè)“創(chuàng)意助手”，為人類(lèi)的創(chuàng)造力插上翅膀！??????
圖1：(a)DJ SEARCH的示例輸出。讓ChatGPT依據(jù)米歇爾·伊拉姆（Michele Elam）教授的論文《詩(shī)歌不會(huì)優(yōu)化；抑或，文學(xué)之于人工智能意味著什么？》（伊拉姆，2023年）的標(biāo)題來(lái)生成一篇摘要。與伊拉姆教授撰寫(xiě)的原始摘要相比，ChatGPT生成的摘要與網(wǎng)絡(luò)上現(xiàn)有文本逐字匹配以及近乎逐字匹配的情況要多得多。(b)創(chuàng)造力指數(shù)的定義。創(chuàng)造力指數(shù)在數(shù)學(xué)上等同于在一系列最小n元語(yǔ)法長(zhǎng)度L范圍內(nèi)，L-獨(dú)特性曲線下方的面積。在所有領(lǐng)域中，在不同的語(yǔ)境粒度（即n元語(yǔ)法長(zhǎng)度）下，ChatGPT的L-獨(dú)特性明顯低于熟練的人類(lèi)作者，這使得人類(lèi)作者相較于ChatGPT而言，其創(chuàng)造力指數(shù)要高得多。
方法
CREATIVITY INDEX
CREATIVITY INDEX 的核心思想是通過(guò)估計(jì)給定文本中有多少可以通過(guò)混合和匹配來(lái)自網(wǎng)絡(luò)的大量現(xiàn)有文本片段來(lái)重建，從而量化該文本的語(yǔ)言創(chuàng)造力。具體來(lái)說(shuō)，CREATIVITY INDEX 評(píng)估文本內(nèi)容在多大程度上可以追溯到在其他現(xiàn)有文本中找到的類(lèi)似或相同的上下文。
具體步驟：
- 定義文本： 將文本 x 定義為我們想要量化創(chuàng)造力的文本，例如演講記錄或詩(shī)歌，可以是人工書(shū)寫(xiě)或機(jī)器生成的。
- 定義 n-gram： n-gram 是 x 中任何連續(xù)的 n 個(gè)單詞序列，其中 x_i:i+n 是 x 中以第 i 個(gè)單詞開(kāi)始的 n-gram。
- 定義參考語(yǔ)料庫(kù)： C 是包含公開(kāi)可訪問(wèn)文本的巨大參考語(yǔ)料庫(kù)，f 是一個(gè)二元函數(shù)，它確定 n-gram x_i:i+n 是否出現(xiàn)在語(yǔ)料庫(kù) C 中。
- 定義 L-uniqueness： L-uniqueness 是文本 X 中不包含在語(yǔ)料庫(kù) C 中的 n-gram 的比例，這些 n-gram 包含 w。即 uniq(x, L) = 1 - sum(1 / |x| * 1{f(x_i:i+n, C) = 0 for all i in (k-n, k], n >= L)}).
- 定義 CREATIVITY INDEX： CREATIVITY INDEX 是 L-uniqueness 在各種上下文粒度（即 n-gram 長(zhǎng)度）上的積分，即 sumuniq(x, n)。
特殊情況：
- 如果文本 X 是參考語(yǔ)料庫(kù) C 的一部分，其 CREATIVITY INDEX 將簡(jiǎn)單地變?yōu)榱恪榱私鉀Q這個(gè)問(wèn)題，對(duì)于在參考語(yǔ)料庫(kù)截止日期之前撰寫(xiě)的人工文本，我們排除了包含 X 的副本、引述或引用的任何文檔 d∈C，并使用此過(guò)濾語(yǔ)料庫(kù)計(jì)算 CREATIVITY INDEX。
DJ SEARCH
為了高效地計(jì)算 CREATIVITY INDEX，我們引入了 DJ SEARCH，這是一種動(dòng)態(tài)規(guī)劃算法，用于快速識(shí)別語(yǔ)料庫(kù) C 中所有 x 的 n-gram（n >= L）。
具體步驟：
- 兩指針?lè)椒?/strong>： 使用兩指針?lè)椒▉?lái)迭代地搜索每個(gè)索引 i 處的最長(zhǎng) n-gram，它以 i 開(kāi)始并出現(xiàn)在 C 中。
- 計(jì)算 f： f 可以通過(guò)計(jì)算 n-gram 之間的 WMD 來(lái)確定，其中 WMD 結(jié)合了每個(gè) n-gram 之間的單詞嵌入距離。
- 優(yōu)化： 為了進(jìn)一步優(yōu)化效率，我們僅對(duì)與 X 最相似的 C 中的文本計(jì)算 WMD，并使用 Infinigram 來(lái)查找 C 中 X_i:i+n 的精確匹配。
實(shí)驗(yàn)
本研究通過(guò)多項(xiàng)實(shí)驗(yàn)評(píng)估了人類(lèi)文本與大型語(yǔ)言模型（LLMs）文本的創(chuàng)造力差異，并探討了不同因素的影響。
圖2： a - c：僅基于逐字匹配得出的小說(shuō)創(chuàng)作（a）、詩(shī)歌創(chuàng)作（b）以及演講稿撰寫(xiě)（c）中的創(chuàng)造力指數(shù)。 d：同時(shí)考慮逐字匹配和語(yǔ)義匹配的小說(shuō)創(chuàng)作中的創(chuàng)造力指數(shù)。 e：針對(duì)人類(lèi)和OLMo（語(yǔ)言模型），在小說(shuō)創(chuàng)作中相對(duì)于最小n元語(yǔ)法長(zhǎng)度L的L-獨(dú)特性。 f - g：在小說(shuō)創(chuàng)作中，經(jīng)過(guò)人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）前后大型語(yǔ)言模型（LLMs）的創(chuàng)造力指數(shù)，其中（f）僅基于逐字匹配，（g）基于逐字匹配和語(yǔ)義匹配。 h：在小說(shuō)創(chuàng)作中，相對(duì)于參考語(yǔ)料庫(kù)中文檔數(shù)量的L-獨(dú)特性。 i：在小說(shuō)創(chuàng)作中對(duì)排名前50的文檔進(jìn)行檢索時(shí)的L-獨(dú)特性。 j：在小說(shuō)創(chuàng)作中使L-獨(dú)特性保持在50%以下所需的參考文檔數(shù)量。 k - l：在小說(shuō)創(chuàng)作中，基于逐字匹配，將GPT - 4與人類(lèi)的創(chuàng)造力指數(shù)進(jìn)行對(duì)比，使用了源自杰瑪 - 7B、羊駝3 - 8B以及混合專(zhuān)家 - 7B的指令對(duì)齊版本以及這三者組合生成的機(jī)器生成參考語(yǔ)料庫(kù)。 m：不同人類(lèi)作者群體的創(chuàng)造力指數(shù)。 n：跨多個(gè)領(lǐng)域的檢測(cè)曲線下面積（AUROC）：所提方法為零樣本檢測(cè)設(shè)定了新的最先進(jìn)水平，甚至超過(guò)了有監(jiān)督的基準(zhǔn)。
人類(lèi)文本與LLMs文本的創(chuàng)造力對(duì)比
實(shí)驗(yàn)方法：
- 收集人類(lèi)文本數(shù)據(jù)：包括BookMIA數(shù)據(jù)集中的書(shū)籍片段、PoemHunter.com收集的現(xiàn)代詩(shī)歌以及美國(guó)演說(shuō)數(shù)據(jù)庫(kù)中的著名演講。
- 收集LLMs文本數(shù)據(jù)：通過(guò)提示LLMs生成小說(shuō)、詩(shī)歌和演講文本。
- 使用創(chuàng)造力指數(shù)（CREATIVITY INDEX）評(píng)估文本創(chuàng)造力。
實(shí)驗(yàn)結(jié)果：
- 人類(lèi)文本的創(chuàng)造力指數(shù)平均比LLMs文本高52.2%。
- 在小說(shuō)創(chuàng)作、詩(shī)歌創(chuàng)作和演講起草任務(wù)中，人類(lèi)文本的創(chuàng)造力指數(shù)均顯著高于LLMs文本。
不同匹配標(biāo)準(zhǔn)對(duì)創(chuàng)造力測(cè)量的影響
實(shí)驗(yàn)方法：
- 分別使用僅考慮字面匹配和同時(shí)考慮字面匹配和語(yǔ)義匹配兩種標(biāo)準(zhǔn)評(píng)估創(chuàng)造力指數(shù)。
實(shí)驗(yàn)結(jié)果：
- 同時(shí)考慮字面匹配和語(yǔ)義匹配時(shí)，人類(lèi)文本與LLMs文本的創(chuàng)造力差距更大。
- 語(yǔ)義匹配可以提供更多關(guān)于長(zhǎng)n-gram獨(dú)特性的信號(hào)。
RLHF對(duì)模型創(chuàng)造力的影響
實(shí)驗(yàn)方法：
- 比較LLMs在RLHF對(duì)齊前后的創(chuàng)造力指數(shù)。
實(shí)驗(yàn)結(jié)果：
- RLHF顯著降低了LLMs的創(chuàng)造力指數(shù)，平均降低了30.1%。
圖4： a - c：ChatGPT在小說(shuō)創(chuàng)作中基于逐字匹配的創(chuàng)造力指數(shù)，分別展示了不同的提示格式（a）、top-p解碼中的p值（b）以及提示長(zhǎng)度（c）情況。 d：不同模型尺寸的LLaMA 2 Chat和Tulu 2的創(chuàng)造力指數(shù)。
參考語(yǔ)料庫(kù)中重疊n-gram的分布
實(shí)驗(yàn)方法：
- 分析LLMs和人類(lèi)文本中匹配的n-gram在參考語(yǔ)料庫(kù)中的分布情況。
實(shí)驗(yàn)結(jié)果：
- 與人類(lèi)文本相比，LLMs文本中匹配的n-gram更集中在少數(shù)文檔中。
LLMs在參考語(yǔ)料庫(kù)之外的數(shù)據(jù)上的創(chuàng)造力測(cè)量
實(shí)驗(yàn)方法：
- 使用與GPT-4訓(xùn)練數(shù)據(jù)相似的開(kāi)源LLMs生成的參考語(yǔ)料庫(kù)評(píng)估GPT-4的創(chuàng)造力。
實(shí)驗(yàn)結(jié)果：
- 人類(lèi)文本的創(chuàng)造力指數(shù)平均比GPT-4高30.3%。
不同群體人類(lèi)文本的創(chuàng)造力差異
實(shí)驗(yàn)方法：
- 比較經(jīng)典文學(xué)、2023年出版的書(shū)籍和流行青少年小說(shuō)的創(chuàng)造力指數(shù)。
實(shí)驗(yàn)結(jié)果：
- 經(jīng)典文學(xué)的創(chuàng)造力指數(shù)高于其他兩類(lèi)文本。
利用創(chuàng)造力差異進(jìn)行機(jī)器文本檢測(cè)
實(shí)驗(yàn)方法：
- 使用創(chuàng)造力指數(shù)作為零樣本黑盒機(jī)器文本檢測(cè)的依據(jù)。
實(shí)驗(yàn)結(jié)果：
- 該方法在零樣本檢測(cè)中取得了最先進(jìn)的性能，超越了DetectGPT和OpenAI的檢測(cè)器，并優(yōu)于Ghostbuster等監(jiān)督學(xué)習(xí)方法。
結(jié)論與展望
想象一下，如果你能穿越回那個(gè)沒(méi)有手機(jī)、電腦，甚至連電燈都還沒(méi)普及的年代，你會(huì)看到什么樣的景象呢？或許，你會(huì)看到一個(gè)充滿想象力和創(chuàng)造力的世界，人們用筆墨在紙上書(shū)寫(xiě)著一個(gè)個(gè)動(dòng)人的故事，用琴弦在空氣中彈奏出美妙的旋律。而現(xiàn)在，AI 大語(yǔ)言模型（LLM）的出現(xiàn)，似乎正在重新點(diǎn)燃這個(gè)世界的創(chuàng)造力火花。
研究表明，LLM 的“創(chuàng)造力”其實(shí)很大程度上來(lái)源于網(wǎng)絡(luò)上的現(xiàn)有文本片段。換句話說(shuō)，LLM 就像是那個(gè)時(shí)代的一位DJ，將現(xiàn)有的音樂(lè)碎片重新組合，創(chuàng)造出新的旋律。而真正的“作曲家”們，則像海明威那樣，用他們獨(dú)特的視角和深刻的思想，創(chuàng)作出獨(dú)一無(wú)二的作品。
雖然LLM在“創(chuàng)作”方面展現(xiàn)出了驚人的能力，但它們?nèi)匀粺o(wú)法完全取代人類(lèi)的創(chuàng)造力。畢竟，人類(lèi)的創(chuàng)造力不僅僅來(lái)源于對(duì)現(xiàn)有知識(shí)的積累，更來(lái)自于對(duì)世界的獨(dú)特理解和感悟。
未來(lái)，隨著AI技術(shù)的不斷發(fā)展，我們可以期待LLM在更多領(lǐng)域發(fā)揮其“創(chuàng)造力”的作用。但與此同時(shí)，我們也要保持清醒的頭腦，認(rèn)識(shí)到人類(lèi)在創(chuàng)造力方面的獨(dú)特價(jià)值。
本文轉(zhuǎn)載自公眾號(hào)AIGC最前線 作者：實(shí)習(xí)小畢
