如今大型語言模型（如 ChatGPT）風靡全球，其最重要的應用之一就是輔助用戶完成各種日常寫作，如撰寫電子郵件，創作博客文章，都能得到它的有力支持。但是目前包括 ChatGPT 在內的各種大語言模型在長內容創作領域，如小說，劇本，長篇文案等領域卻顯得力不從心。

近期，來自蘇黎世聯邦理工和波形智能的團隊發布了 RecurrentGPT，一種讓大語言模型 (如 ChatGPT 等) 能夠模擬 RNN/LSTM，通過 Recurrent Prompting 來實現交互式超長文本生成，讓利用 ChatGPT 進行長篇小說創作成為了可能。

圖 1 RecurrentGPT 使用示意圖。

• 論文地址：https://arxiv.org/abs/2305.13304
• 項目地址：https://github.com/aiwaves-cn/RecurrentGPT
• 在線 Demo：https://www.aiwaves.org/recurrentgpt (長篇小說寫作) https://www.aiwaves.org/interactivefiction (交互式小說)

基于 Transformer 的大語言模型最明顯的限制之一就是輸入和輸出的長度限制。雖然輸入端的長度限制可以通過 VectorDB 等方式緩解，輸出內容的長度限制始終是限制 ChatGPT 等大語言模型廣泛應用于長內容生成的關鍵障礙。為解決這一問題，過去很多研究試圖使用基于向量化的 State 或 Memory 來讓 Transformer 可以進行循環計算。這樣的方法雖然在長文本建模上展現了一定的優勢，但是卻要求使用者擁有并可以修改模型的結構和參數，這在目前閉源模型遙遙領先的大語言模型時代中是不符合實際的。

RecurrentGPT 則另辟蹊徑，是利用大語言模型進行交互式長文本生成的首個成功實踐。它利用 ChatGPT 等大語言模型理解自然語言指令的能力，通過自然語言模擬了循環神經網絡（RNNs）的循環計算機制。

如圖 2 所示，在每一個時間步中，RecurrentGPT 會接收上一個時間步生成的內容、最近生成內容的摘要（短期記憶），歷史生成內容中和當前時間步最相關的內容 (長期記憶)，以及一個對下一步生成內容的梗概。RecurrentGPT 根據這些內容生成一段內容，更新其長短時記憶，并最后生成幾個對下一個時間步中生成內容的規劃，并將當前時間步的輸出作為下一個時間步的輸入。這樣的循環計算機制打破了常規Transformer 模型在生成長篇文本方面的限制，從而實現任意長度文本的生成，而不遺忘過去的信息。

圖 2 RecurrentGPT 基本結構示意。

具體來講。作者們設計了如圖 2 所示的 prompt 去指導和規范循環的生成：

圖 3: RecurrentGPT Prompt 設計。

首先指明任務，比如寫小說，并說明在輸入部分會給出的內容：上一步生成的段落（圖中 Ot-1）、當前維持的近期生成內容的摘要，即短期記憶（圖中 ht-1），所有生成內容中和當前時間步相關程度最高的幾個段落，即短期記憶（圖中 ct-1），以及對接下來生成內容的規劃（圖中 xt-1）。

接著在 prompt 中給 ChatGPT 提出要求：首先基于當前的輸入生成一個新的段落，接著對維護的短期記憶進行修改，同時在對短期記憶修改時作者們指示大語言模型首先分析短期記憶中哪些內容對于后續創作不再重要以及新生成的內容中哪些會對后續生成有所影響，之后相應地在地短期記憶庫中去去除無用的信息并增添新的信息，從而保持短期記憶不會因為迭代的輪數增加而變得過長。最后要求 ChatGPT 基于當前的情節鋪設，給出三個邏輯順承又有趣的新的情節的規劃。

在提出要求后，作者在結尾再次精心設計了 prompt 來規范 ChatGPT 的輸出，并重申了當前小說寫作的情景。這個好處是讓 ChatGPT 生成的內容更具備像小說那樣的細節，而不是在每一輪的迭代中，快速地完成情節的敘述。

圖 4 RecurrentGPT Demo

在實際使用中，內容創作者只需先選擇一個主題，然后簡單地描述一下要生成的內容的背景設定和大綱，剩下的工作就可以交給 RecurrentGPT。每一個它將自動生成第一段，并提供幾個可能的選項（plan）供創作者繼續寫故事。創作者可以選擇一個選項、對某個選項進行修改或者自己編輯一個新的選項。這個流程能顯著提高內容創作者的效率。

這個新的長文本生成范式將帶給所有內容創作者和讀者一種全新的體驗。首先，相比現有的方法，RecurrentGPT 有更強的可解釋性，因為用戶可以觀察和編輯自然語言記憶，這使得用戶可以更清晰地理解這個框架是如何工作的。其次，用戶可以直接影響生成內容的方向，讓整個寫作過程變得更加有趣。

除了作為 AI 內容生成 (AIGC) 的工具以外，RecurrentGPT 可以直接作為交互式小說，直接與消費者互動，跳過了內容創作者使用 AI 進行內容創作的步驟。這讓消費者的體驗更直接有趣，并且帶來更豐富的可能性。作者們將這樣的生成式 AI 的使用范式稱之為 (AI as Content, AIAC), 也就是 “AI 即內容”。而 RecurrentGPT 則是通往這個范式的第一步。

在實驗中，作者們將 RecurrentGPT 與之前的 SoTA 長文本生成方法，在統一使用 ChatGPT 作為基座模型的情況下，在長文本（6000 單詞）和較長文本（3000 單詞）的設定下進行 pair-wise 的人工比較。

圖 5 RecurrentGPT 實驗結果。

在上述一系列測試中，RecurrentGPT 無論是在科幻、浪漫、幻想、恐怖、神秘還是驚悚小說的生成上，都被人類讀者認為更有趣和連貫。

總結

研究人員提出了 RecurrentGPT，用基于自然語言的組件取代了 RNN 中向量化的結構，并且用基于自然語言的 Prompt 模擬了 RNN 的循環計算圖，從而實現 Recurrent Prompting，讓 ChatGPT 等大語言模型模擬 RNN 的循環計算機制，生成有趣并連貫的長內容。

該項目已經在 GitHub 上開源，并提供了基于 Gradio 的網頁 UI，方便每一個用戶去使用和調教自己的長內容創作助手。