前段時(shí)間田淵棟博士團(tuán)隊(duì)在EMNLP2022上發(fā)布了一個(gè)基于大規(guī)模語(yǔ)言模型的故事生成器Re3（Recursive Reprompting and Revision）框架，通過(guò)設(shè)計(jì)prompt讓模型生成一致性強(qiáng)的故事，完全不需要微調(diào)大模型，最長(zhǎng)可以生成7500詞的故事。

最近Re3的作者團(tuán)隊(duì)又發(fā)布了第二版長(zhǎng)故事生成框架DOC（Detailed Outline Control），使用層次化的大綱（outline）對(duì)故事進(jìn)行更細(xì)節(jié)的描繪，并使用微調(diào)后的OPT-350m模型對(duì)生成的內(nèi)容進(jìn)行更連貫的續(xù)寫(xiě)，相比之下，人類評(píng)估后認(rèn)為DOC比上一代Re3的寫(xiě)作能力更強(qiáng)。

論文鏈接：https://arxiv.org/abs/2212.10077

論文鏈接：https://github.com/yangkevin2/doc-story-generation

DOC由兩個(gè)互補(bǔ)的組件組成:

1. 詳細(xì)大綱生成器（detailed outliner）可以創(chuàng)建一個(gè)更詳細(xì)的、分層結(jié)構(gòu)的大綱，將創(chuàng)造性的工作從主起草（drafting）過(guò)程轉(zhuǎn)移到規(guī)（planning）劃階段；

2. 詳細(xì)的控制器（detailed controller）通過(guò)控制故事段落與大綱細(xì)節(jié)保持一致，確保更詳細(xì)的大綱在生成過(guò)程中仍然能夠發(fā)揮作用。

在自動(dòng)生成故事的人類評(píng)估中，DOC 在情節(jié)一致性上取得22.5%的絕對(duì)增益，大綱相關(guān)性提升28.2%，趣味性提升20.7%，大大優(yōu)于先前的 Re3基線模型，并且人類評(píng)估者還認(rèn)為DOC在交互式生成環(huán)境中更容易控制。

文章的第一作者Kevin Yang是加州大學(xué)伯克利分校的四年級(jí)博士生，主要研究興趣為結(jié)構(gòu)化設(shè)置下的可控自然語(yǔ)言文本生成，如利用可控生成的結(jié)構(gòu)化方法來(lái)改善長(zhǎng)篇文本的一致性。

第二作者田淵棟博士是Meta人工智能研究院研究員、高級(jí)經(jīng)理，其研究方向?yàn)樯疃仍鰪?qiáng)學(xué)習(xí)及其在游戲中的應(yīng)用，以及深度學(xué)習(xí)模型的理論分析。先后于2005年及2008年獲得上海交通大學(xué)本碩學(xué)位，2013年獲得美國(guó)卡耐基梅隆大學(xué)機(jī)器人研究所博士學(xué)位。

DOC框架

隨著自然語(yǔ)言技術(shù)的不斷發(fā)展，大規(guī)模語(yǔ)言模型對(duì)于短文本的理解逐漸接近瓶頸，人們對(duì)生成更長(zhǎng)的文本逐漸產(chǎn)生興趣，比如一次生成數(shù)千個(gè)單詞。

與短文本生成任務(wù)相比，長(zhǎng)文本包含的內(nèi)容和限制也更多，模型需要保持總體一致性，長(zhǎng)期事實(shí)一致性，還要保持與用戶輸出的前提或計(jì)劃保持相關(guān)性。

與人類相比，像Re3這樣的故事生成系統(tǒng)在許多方面仍然存在不足，例如無(wú)法保證長(zhǎng)距離下的劇情連貫性，全局不一致，故事內(nèi)容偏離設(shè)定的計(jì)劃等。

為了彌補(bǔ)這一差距，詳細(xì)大綱控制（DOC）框架在重復(fù)使用Re3的高層次規(guī)劃起草修訂（panning-drafting-revision）結(jié)構(gòu)的同時(shí)，通過(guò)兩種互補(bǔ)的方法提高了長(zhǎng)期一致性。

詳細(xì)大綱

首先，detailed outliner將一個(gè)簡(jiǎn)短的初始大綱細(xì)化為一個(gè)更詳細(xì)、層次化的大綱，這樣設(shè)計(jì)的原因是人類作者可能在起草一份長(zhǎng)文檔之前迭代地細(xì)化和擴(kuò)展一個(gè)簡(jiǎn)短的初始大綱。

與即興創(chuàng)作新的情節(jié)點(diǎn)相比，作者可能會(huì)在高層次大綱階段計(jì)劃一個(gè)連貫的總體情節(jié)，使用擴(kuò)展的大綱在起草過(guò)程中提供更詳細(xì)的指導(dǎo)。

在起草階段，研究人員重用了Re3重寫(xiě)階段的大綱相關(guān)性和文本連貫性重排序，以檢測(cè)當(dāng)前大綱項(xiàng)目何時(shí)完成了一段文章，并基于分?jǐn)?shù)閾值實(shí)現(xiàn)提前停止。

大綱中有完整的設(shè)置和相關(guān)的角色，每個(gè)大綱項(xiàng)目都經(jīng)過(guò)仔細(xì)篩選，以確保上下文中的相關(guān)性和連貫性。

在結(jié)構(gòu)化prompt中，模型會(huì)突出顯示當(dāng)前設(shè)置、設(shè)置中的更改，還會(huì)根據(jù)大綱中檢測(cè)到的角色檢索角色描述。

相比之下，Re3在起草過(guò)程中為每一段動(dòng)態(tài)選擇相關(guān)角色，并且不跟蹤設(shè)置信息，這可能會(huì)導(dǎo)致故事設(shè)置發(fā)生意外變化

詳細(xì)控制器

第二個(gè)組件詳細(xì)控制器（detailed controller）通過(guò)基于相應(yīng)的大綱項(xiàng)目控制段落生成來(lái)保持對(duì)詳細(xì)大綱的忠實(shí)性。

因?yàn)樵敿?xì)大綱強(qiáng)加了許多重疊的軟約束，所以詳細(xì)控制器必須施加足夠的控制強(qiáng)度，同時(shí)詳細(xì)控制器還必須適應(yīng)靈活的自然語(yǔ)言輸入，并在使用最先進(jìn)的大型語(yǔ)言模型生成時(shí)具有計(jì)算效率。

所以研究人員將詳細(xì)控制器實(shí)現(xiàn)為基于OPT350m的控制器，設(shè)計(jì)了一個(gè)對(duì)比訓(xùn)練程序，將摘要與段落前綴對(duì)齊。

最關(guān)鍵的是，研究人員還構(gòu)建了許多流暢的硬負(fù)例（fluent hard negatives），以促進(jìn)生成的段落不僅在開(kāi)始時(shí)與主題相關(guān)，而且貫穿始終。

實(shí)驗(yàn)部分

在實(shí)驗(yàn)中，模型的輸入只是一個(gè)簡(jiǎn)短的英語(yǔ)前提（premise），通常30-60個(gè)單詞，輸出是一個(gè)完整的故事。

研究人員沒(méi)有施加更多規(guī)則上的約束，因?yàn)椤腹适隆沟亩x還不明確，更不用說(shuō)定義「好故事」了，質(zhì)量好壞主要依賴人工評(píng)估指標(biāo)。

在評(píng)價(jià)上主要使用三個(gè)指標(biāo)，更適用于比較段落而非完整的故事：

1. 連貫性，人類標(biāo)注員判斷情節(jié)連貫的段落百分比；

2. 相關(guān)性，被判斷為符合相應(yīng)大綱條目的段落百分比；

3. 趣味性，被認(rèn)為有趣的段落百分比。

對(duì)比的基線模型包括Re3, ROLLING-OPT和ROLLING-GPT。

在實(shí)驗(yàn)結(jié)果可以看到，與Re3相比，標(biāo)注人員認(rèn)為DOC生成的情節(jié)更加連貫，與大綱更加相關(guān)，相比ROLLING基線提升更高。

并且結(jié)果證實(shí)了模型設(shè)計(jì)的正確性，即劇情連貫性和大綱相關(guān)性得益于將創(chuàng)意工作從規(guī)劃轉(zhuǎn)向起草，以及改進(jìn)的控制機(jī)制。

而且令人意外的是，標(biāo)注人員還認(rèn)為DOC的段落明顯更有趣，研究人員認(rèn)為這是更詳細(xì)（更具事件性）大綱帶來(lái)的進(jìn)步，進(jìn)一步的消融實(shí)驗(yàn)也支持了這一假設(shè)。

不過(guò)定性分析也揭示了該模型仍然有進(jìn)一步改進(jìn)的巨大空間。

與RE3不同的是，DOC通常不會(huì)嚴(yán)重偏離頂層大綱，而RE3有時(shí)幾乎完全偏離主題，但DOC通常無(wú)法遵循詳細(xì)大綱的較低層次部分。

DOC和RE3中的內(nèi)部一致性仍然存在問(wèn)題，詳細(xì)大綱中偶爾出現(xiàn)的錯(cuò)誤可能會(huì)造成特別大的負(fù)面影響，從而在起草過(guò)程中導(dǎo)致更大的級(jí)聯(lián)錯(cuò)誤。

此外，DOC中的大綱往往在細(xì)節(jié)層次上不一致，有些過(guò)于模糊，而另一些似乎過(guò)于展開(kāi)（over-expanded）。

此外，模型檢測(cè)到的設(shè)置和角色有時(shí)也會(huì)不正確或不完整，下面的例子顯示了DOC根據(jù)上述大綱編寫(xiě)的一篇?jiǎng)h節(jié)嚴(yán)重的故事。