到底什么才是LLM長上下文模型的終極解決方案？

最近由普林斯頓大學(xué)和Meta AI的研究者提出了一種解決方案，將LLM視為一個交互式智能體，讓它決定如何通過迭代提示來讀取文本。

論文地址：https://arxiv.org/abs/2310.05029

他們設(shè)計了一種名為MemWalker的系統(tǒng)，可以將長上下文處理成一個摘要節(jié)點樹。

收到查詢時，模型可以檢索這個節(jié)點樹來尋找相關(guān)信息，并在收集到足夠信息后做出回應(yīng)。在長文本問答任務(wù)中，這個方法明顯優(yōu)于使用長上下文窗口、遞歸和檢索的基線方法。

LeCun也在推上轉(zhuǎn)發(fā)對他們的研究表示了支持。

MemWalker主要由兩個部分構(gòu)成：

首先需要構(gòu)建記憶樹：

對長文本進行切分，歸納為摘要節(jié)點。匯總節(jié)點進一步匯總為更高級別的節(jié)點，最后到達根。

第二部分是導(dǎo)航（Navigation）：

在接受查詢后，LLM會在樹中導(dǎo)航以查找相關(guān)信息并進行適當?shù)捻憫?yīng)。LLM通過推理來完成這一過程——可能會致力于找到某個答案，選擇沿著一條路走得更遠，或者發(fā)現(xiàn)自己誤入歧途，就原路撤回。

這個導(dǎo)航過程可以通過零樣本提示來實現(xiàn)，并且很容易適用于指定的的任何一個大語言模型。

研究團隊表明，通過對這個模型構(gòu)建的記憶樹的交互式讀取，MemWalker 優(yōu)于其他長上下文基線以及檢索和循環(huán)變體，特別對于更長的例子，效果更好。

MemWalker的有效性取決于兩個關(guān)鍵部分：

1) 工作內(nèi)存大小 ——當允許 LLM 沿著其檢索的路徑能夠獲取跟多信息時，LLM 擁有更好的全局上下文能力。

2）LLM的推理能力高低——當LLM達到推理閾值時，MemWalker是有效的。當推理能力低于閾值時，導(dǎo)航過程中錯誤率就會很高。

MEMWALKER: 一個可互動讀取器

研究團隊研究與長上下文問答相關(guān)的任務(wù)——給定長文本x和查詢q，模型的目標是生成響應(yīng)r。

MEMWALKER遵循兩個步驟：

1) 內(nèi)存樹構(gòu)建，其中長上下文被拆分成樹形數(shù)據(jù)結(jié)構(gòu)。這種構(gòu)建不依賴于查詢，因此如果事先有序列數(shù)據(jù)，可以提前計算。

2) 導(dǎo)航，模型在接收到查詢時導(dǎo)航此結(jié)構(gòu)，收集信息以制定合適的響應(yīng)。

MEMWALKER假定可以訪問基礎(chǔ)LLM，并且通過迭代LLM提示實現(xiàn)構(gòu)建和導(dǎo)航。

導(dǎo)航

在接收到查詢q后，語言模型從根節(jié)點開始導(dǎo)航樹以生成響應(yīng)r。

在LLM遍歷的節(jié)點處，它觀察到下一級節(jié)點的摘要。

LLM決定在+ 1個動作中選擇一個 - 選擇一個子節(jié)點以進一步檢查，或者返回到父節(jié)點。

在葉節(jié)點處，LLM可以決定兩個動作中的一個：提交葉節(jié)點并響應(yīng)查詢，或者如果葉節(jié)點中的信息

（即）不足，則返回到父節(jié)點。

為了做出導(dǎo)航?jīng)Q定，研究團隊也可以通過提示要求LLM首先以自然語言生成一個理由來證明動作，然后是動作選擇本身。

具體地說，在每個節(jié)點，模型生成響應(yīng)r ～ LLM(r | s, q)，其中響應(yīng)是兩個元組中的一個：1) 當LLM位于葉節(jié)點時，r = (reasoning, action, answer) 或 2) 當LLM位于非葉節(jié)點時，r = (reasoning, action)。

導(dǎo)航提示設(shè)計

研究團隊通過零樣本提示啟用LLM導(dǎo)航。具體需要兩種類型的提示：

1) 分診提示和2) 葉提示（在下表中高亮顯示）。

分診提示包含查詢、子節(jié)點的摘要和LLM應(yīng)遵循的指令。分診提示用于非葉節(jié)點。

葉提示包含段落內(nèi)容、查詢（和選項）以及要求LLM生成答案或返回到父節(jié)點的指令。

分診提示和葉提示都指定了LLM需要遵循的輸出格式。不遵守格式會導(dǎo)致無效動作，LLM需要重新生成。如果LLM連續(xù)三次未能生成可解析的輸出，導(dǎo)航終止并返回「無答案」。

工作內(nèi)存

當LLM檢索完樹時，它可以在導(dǎo)航軌跡中保持信息，并將其添加到上下文中。

準確地說，LLM生成響應(yīng)r ～ LLM(r | s, q, m)，其中額外的工作內(nèi)存

要么為空，要么包含來自先前訪問過的節(jié)點的內(nèi)容。

研究團隊截斷工作內(nèi)存，使其可以適應(yīng)LLM的上下文窗口。

上表也展現(xiàn)了如何通過[WORKING MEMORY]在提示中添加工作記憶的方式。

實驗性配置

數(shù)據(jù)集和評估

研究團隊使用了三個數(shù)據(jù)集：QuALITY、SummScreenFD和GovReport，這些來自SCROLLS基準測試。研究團隊展示了所有數(shù)據(jù)集的準確性。

QuALITY

QuALITY是多項選擇題問答數(shù)據(jù)集。

該數(shù)據(jù)集包含了來自Project Gutenberg的長篇故事和由人類注釋員注釋的問題。研究團隊使用了187個示例的子集進行實驗。

SummScreenFD

SummScreenFD是一個包含電視和電影劇本的數(shù)據(jù)集，原本是為了總結(jié)而設(shè)計的。

這些劇本以演員之間的對話形式呈現(xiàn)。研究團隊將該數(shù)據(jù)集轉(zhuǎn)換為問答任務(wù)，其中原始提供的基本真實摘要文本被用來使用Stable Beluga 2生成一個「誰」的問題，然后由人類專家檢查答案。

與原始長文本配對的問題成為重新定位的QA任務(wù)的306個示例。

GovReport

GovReport數(shù)據(jù)集匯集了來自國會研究服務(wù)和美國政府問責(zé)辦公室的文檔，以及由專家提供的摘要。

研究團隊以與SummScreenFD相同的方式將該數(shù)據(jù)集轉(zhuǎn)換為包含101個示例的問答數(shù)據(jù)集。

所有三個數(shù)據(jù)集都以不同長度的長上下文作為示例特征 ，有些是較短的示例，有些是較長的序列。

因此，研究團隊既展示了原始數(shù)據(jù)集上的結(jié)果，也展示了每個任務(wù)中僅包含較長序列的子集上的結(jié)果，以便更好地評估在更困難、更長的上下文情況下的內(nèi)存訪問。

門檻值分別是QuALITY的8000個token，SummScreenFD的6000個token和GovReport的12000個token。

模型

研究團隊在大多數(shù)實驗中使用Stable Beluga 2作為基礎(chǔ)LLM，因為與其他幾種LLM變體相比，它提供了最先進的性能，研究團隊將展示這一點。

Stable Beluga 2是一個基于70B LLaMA-2的指令調(diào)整模型，其中微調(diào)與研究團隊的評估任務(wù)不重疊。

它的最大上下文長度為4,096個token。研究團隊在沒有進一步微調(diào)或在上下文中為研究團隊的任務(wù)提供少量示例的情況下，以零射提示的方式使用該模型。

研究團隊使用頂部p采樣來進行內(nèi)存樹構(gòu)建以及生成導(dǎo)航的動作和推理。

研究團隊分別為QuALITY、SummScreenFD和GovReport設(shè)置節(jié)點的最大數(shù)量maxt Mt = 8, 5, 8和段大小|c| = 1000, 1000, 1200。

基準

研究團隊將三種基于相同底層LLM的內(nèi)存技術(shù)與Stable Beluga 2進行比較：

1) 全上下文窗口

2) 遞歸

3) 檢索

全上下文窗口基線使用全部4,096個token來處理長輸入文本和生成。由于數(shù)據(jù)集中的實例經(jīng)常超過上下文限制，研究團隊對長度進行截斷，將文本的右側(cè)（最近）或左側(cè)（最不近）作為輸入，并評估這兩種方法。

對于檢索，研究團隊使用Contriever（Izacard等人，2022）根據(jù)查詢從長上下文中選擇段落。得分最高的段落被連接為LLM的輸入上下文，直到它們填滿上下文。

最后，研究團隊實現(xiàn)了一個基線，該基線通過摘要將先前段落token中的信息循環(huán)傳遞到當前段落，其中每個段落為2,500個token，最大摘要大小為500個token。

結(jié)果與分析

主要結(jié)果

下表2展示了MEMWALKER與其他基線之間的比較。

MEMWALKER在所有任務(wù)中都大幅度超越了遞歸基線。

這顯示了遞歸的限制，即查詢的相關(guān)信息在幾步之后會丟失。

MEMWALKER也超越了檢索，其中段落來自連貫的長篇故事，而不是單獨的文檔。

在這些任務(wù)中，全上下文基線可以在「原始」任務(wù)設(shè)置中表現(xiàn)良好，該設(shè)置可能包含相對較短的序列，盡管選擇左或右截斷以獲得最佳性能似乎取決于數(shù)據(jù)集。

然而，除了QuALITY上的保持右側(cè)變量和GovReport上的保持左側(cè)變量外，MEMWALKER在原始設(shè)置中實現(xiàn)了比全上下文基線更高的性能，這可能是由于數(shù)據(jù)集中的位置偏差，其中相關(guān)段落通常出現(xiàn)在文本的開頭或末尾。

然而，在所有三個任務(wù)的長版本上，MEMWALKER均超越所有基線，即在內(nèi)存訪問變得更為關(guān)鍵時，它表現(xiàn)出強勁的性能。

MEMWALKER還超越了其他公開可用的模型，包括LongChat和MPT。

MEMWALKER提高了長序列上的性能。研究團隊在上圖2中為每個任務(wù)提供了輸入序列長度的性能細分。

當文本長度較短時，MEMWALKER不如全上下文（左或右截斷）基線，但在所有任務(wù)的較長序列上都優(yōu)于兩種截斷類型。

交互式讀取的好處在于文本長度適當增加后顯現(xiàn)出來，即一旦序列長度明顯大于LLM上下文長度的4,096，就會顯示出更好的性能。

推理能力對于內(nèi)存樹導(dǎo)航至關(guān)重要。

MEMWALKER的有效性高度依賴于底層LLM的推理能力。對于每個導(dǎo)航?jīng)Q策，研究團隊使用一個LLM提示，要求LLM首先以自然語言生成一個理由來證明接下來的預(yù)測動作，參見下表1。

研究團隊在下表3中展示了通過比較Llama 2 Chat（13B和70B參數(shù)變體）和Stable Beluga 2（70B），并通過從提示中刪除「在做出決定之前首先提供推理......」這行來展示推理如何影響性能。

對于較小、能力較差的模型（13B），由于無法遵循指令，性能大幅落后于70B模型。實際上，為較弱的模型要求推理理由會降低性能，可能是因為它們無法生成和利用這些理由。

Stable Beluga 2的表現(xiàn)優(yōu)于同一LLM大小的Llama 2 Chat，并且還顯示出增強的推理能力。

對于Stable Beluga 2，在所有任務(wù)中要求推理理由都會提高性能。這突顯了MEMWALKER的主要特點：如果LLM通過了關(guān)鍵推理能力閾值，它可以在多輪中對長輸入進行推理，而不會在各輪之間迅速產(chǎn)生錯誤。

對于不能做出良好導(dǎo)航?jīng)Q策的較弱LLM，錯誤可能會累積，總體性能會受損。

隨著LLM在未來幾年的推理能力的不斷提高，研究團隊期望像MEMWALKER這樣的方法會變得越來越有效。

導(dǎo)航內(nèi)存樹需要工作內(nèi)存。當MEMWALKER做出決策以遍歷內(nèi)存樹并讀取相關(guān)段落時，它可能會失去對整體上下文的了解。

因此，模型將沿導(dǎo)航路徑從節(jié)點中攜帶信息作為工作內(nèi)存，其中工作內(nèi)存的內(nèi)容在模型選擇下一路徑時更新。

研究團隊評估了有無工作內(nèi)存的MEMWALKER的性能，結(jié)果顯示在下圖3中。

研究團隊發(fā)現(xiàn)在所有任務(wù)中，工作內(nèi)存耗盡會導(dǎo)致性能顯著下降，準確率下降5-13%，顯示了這一組件的重要性。

MEMWALKER可以從錯誤的路徑中恢復(fù)。

當MEMWALKER導(dǎo)航內(nèi)存樹時，它不僅需要找到通往最相關(guān)段落的路徑，而且可能需要從全部檢索錯誤中恢復(fù)。

研究團隊在下表4中展示了恢復(fù)統(tǒng)計數(shù)據(jù)。MEMWALKER對大約15% - 20%的示例執(zhí)行恢復(fù)導(dǎo)航操作（因此更改路徑），但是在這些示例中可以恢復(fù)并在QuALITY中70%的時間內(nèi)正確獲得這些示例，60%適用于SummScreenFD，和～ 80%適用于GovReport。

MEMWALKER實現(xiàn)了高效讀取。由于MEMWALKER確定了需要讀取長文本的哪些部分，因此需要讀取的有效內(nèi)容可能小于整個序列。

研究團隊展示了所有示例的長上下文讀取百分比的平均值，對于三個任務(wù)中的每一個，見下圖4。研究團隊發(fā)現(xiàn)，平均只需要讀取63%-69%的文本就可以回答問題，包括樹節(jié)點的內(nèi)容。

在成功的路徑中，所需的閱讀進一步減少到59% - 64%。

內(nèi)存樹構(gòu)建的權(quán)衡

當研究團隊構(gòu)建內(nèi)存樹時，會出現(xiàn)一個基本的權(quán)衡——將更大的段落總結(jié)為節(jié)點以減少樹的深度，但可能會失去內(nèi)容的準確性。

類似地，將許多較低級別的節(jié)點連接到上面的節(jié)點可以幫助展平樹，但可能會使每個節(jié)點上的LLM導(dǎo)航任務(wù)變得更為困難。

下圖5顯示了QuALITY上內(nèi)存樹的不同配置的性能?？偨Y(jié)較大段落通常比總結(jié)較小段落以及將更多子節(jié)點連接到父節(jié)點更為有益。

然而，隨著節(jié)點最大數(shù)量的增加，性能趨于平穩(wěn)，顯示了在內(nèi)存樹構(gòu)建過程中可以將多少信息打包到節(jié)點中的權(quán)衡。