要讓大型語言模型（LLM）充分發(fā)揮其能力，有效的 prompt 設(shè)計方案是必不可少的，為此甚至出現(xiàn)了 prompt engineering（提示工程）這一新興領(lǐng)域。

在各種 prompt 設(shè)計方案中，思維鏈（CoT）憑借其強大的推理能力吸引了許多研究者和用戶的眼球，基于其改進的 CoT-SC 以及更進一步的思維樹（ToT）也收獲了大量關(guān)注。

近日，蘇黎世聯(lián)邦理工學院、Cledar 和華沙理工大學的一個研究團隊提出了更進一步的想法：思維圖（GoT）。讓思維從鏈到樹到圖，為 LLM 構(gòu)建推理過程的能力不斷得到提升，研究者也通過實驗證明了這一點。他們也發(fā)布了自己實現(xiàn)的 GoT 框架。

研究論文：https://arxiv.org/pdf/2308.09687v2.pdf

官方實現(xiàn)：https://github.com/spcl/graph-of-thoughts

論文概覽

大型語言模型正在變成人工智能世界的主導(dǎo)技術(shù)。近些年高速發(fā)展的模型主要基于僅解碼器 Transformer 的變體，比如 GPT、PaLM 或 LLaMA。

而在解決不同的 LLM 任務(wù)時，prompt 工程設(shè)計是一種能高效利用資源的方法。簡單來說，就是在發(fā)送給 LLM 的輸入中包含對任務(wù)的描述。如果能以適當?shù)男问矫枋鲈撊蝿?wù)，那么 LLM 就能借助其用于生成文本的基于自回歸 token 的機制來解決該任務(wù)。這樣的 prompt 可能包含帶有解答的示例任務(wù)（少樣本 prompt 設(shè)計，也被稱為上下文學習（ICL），也可能完全不包含示例任務(wù)（零樣本 prompt 設(shè)計）。近些年的研究和應(yīng)用表明，這一機制可用于解決涉及數(shù)學、常識或符號推理的多種類型的任務(wù)。

思維鏈（CoT）便是一種用于設(shè)計 prompt 的方法，即 prompt 中除了有任務(wù)的輸入和輸出外，還包含推理的中間步驟（中間思維）。研究表明，CoT 能極大地提升 LLM 的能力，使之無需任何模型更新便能解決一些難題。

也有研究者改進了 CoT，提出了使用 CoT 實現(xiàn)自我一致的方法（CoT-SC）；這個方案是生成多個 CoT，再選出其中最佳的結(jié)果。

最近還有研究者更進一步提出了思維樹（ToT），其做法是通過樹（tree）來建模 LLM 推理過程。這能讓模型使用不同的思維路徑，并能提供全新的功能，比如基于不好的結(jié)果反向回溯推理過程。不幸的是，由于 ToT 方法為思維過程強加了嚴格的樹結(jié)構(gòu)，所以會極大限制 prompt 的推理能力。更多詳情請參閱機器之心文章《思考、思考、思考不停歇，思維樹 ToT「軍訓」LLM》。

蘇黎世聯(lián)邦理工學院、Cledar 和華沙理工大學的這個研究團隊認為，如果能將 LLM 的思維構(gòu)建成任意的圖結(jié)構(gòu)，那么就能為 prompt 的能力帶來重大提升。他們表示，這一想法受到了多種現(xiàn)象的啟發(fā)，比如人類的推理方式、大腦結(jié)構(gòu)和算法的執(zhí)行方式。

在進行思考時，人類不會像 CoT 那樣僅遵循一條思維鏈，也不是像 ToT 那樣嘗試多種不同途徑，而是會形成一個更加復(fù)雜的思維網(wǎng)。舉個例子，一個人可能會先探索一條思維鏈，然后回溯再探索另一條，然后可能會意識到之前那條鏈的某個想法可以和當前鏈結(jié)合起來，取長補短，得到一個新的解決方案。類似地，大腦會形成復(fù)雜的網(wǎng)絡(luò)，呈現(xiàn)出類似圖的模式，比如循環(huán)模式。算法執(zhí)行時也會揭示出網(wǎng)絡(luò)的模式，這往往可以表示成有向無環(huán)圖。

研究者表示，如果將這種對應(yīng)的圖使能的變換用于 LLM 思維，那么有望創(chuàng)造一種強大的設(shè)計 prompt 的方法，但這種變換無法通過 CoT 或 ToT 自然地表達出來。

然后他們觀察到：如果將 LLM 的推理過程建模成圖，那么就能自然地實現(xiàn)這些以及其它許多思維變換?；谶@一觀察，他們提出了思維圖（GoT/Graph of Thoughts），這種方法可以通過網(wǎng)絡(luò)形式的推理來增強 LLM 的能力。

在 GoT 中，一個 LLM 思維會被建模成一個頂點，頂點之間的依賴關(guān)系則建模為邊。使用 GoT，通過構(gòu)建有多于一條輸入邊的頂點，可以將任意思維聚合起來。整體而言，GoT 使用的圖抽象方法可無縫地將 CoT 和 ToT 泛化到更復(fù)雜的思維模式，而且這個過程無需更新模型。

然而，要實際實現(xiàn) GoT，還需要解決一些設(shè)計上的挑戰(zhàn)。比如，對于不同的任務(wù)，最佳的圖結(jié)構(gòu)是什么樣的？為了最大化準確度和最小化成本，聚合思維的最好方法是什么？

為了解答這些問題以及更多其它問題，這些研究者設(shè)計了一種實現(xiàn) GoT 的模塊化架構(gòu)。該設(shè)計有兩大亮點。

一是可實現(xiàn)對各個思維的細粒度控制。這讓用戶可以完全控制與 LLM 進行的對話并使用先進的思維變換，比如將正在進行的推理中兩個最有希望的思維組合起來得到一個新的。

二是這種架構(gòu)設(shè)計考慮了可擴展性 —— 可無縫地擴展用于新的思維變換、推理模式（即思維圖）和 LLM 模型。這讓用戶可使用 GoT 快速為 prompt 的新設(shè)計思路構(gòu)建原型，同時實驗 GPT-3.5、GPT-4 或 Llama-2 等不同模型。

研究者也展現(xiàn)了 GoT 的一些用例（排序、摘要的關(guān)鍵詞計數(shù)、集合運算、文檔合并），他們還詳細說明了如何使用基于圖的范式來實現(xiàn)它們。他們通過實驗評估了 GoT，展現(xiàn)了其相對于其它當前最佳方法的優(yōu)勢。

研究者表示，整體而言，GoT 尤其適用于可自然分解成更小子任務(wù)的任務(wù)，并且這些子任務(wù)可以分開解決，然后融合成一個最終解答。在這方面，GoT 的表現(xiàn)優(yōu)于其它方案，比如在排序任務(wù)上，GoT 分別優(yōu)于 CoT 和 ToT 約 70% 和 62%，同時成本還比 ToT 低 31% 以上。

表 1 給出了 GoT 與其它 prompt 設(shè)計方案的定性比較。GoT 是唯一一種能在一個 prompt 內(nèi)實現(xiàn)任意基于圖的思維變換的方案（比如聚合），從而能將之前的所有方案囊括進來。

他們還有另一項貢獻，即提出一種新的評估指標 —— 思維容量（the volume of a thought），可用于評估 prompt 設(shè)計策略。研究者表示，使用這一指標的目標是更好地理解 prompt 設(shè)計方案之間的差異。

對于一個給定的思維 v，v 的容量是指 LLM 思維的數(shù)量，用戶可以基于此使用有向邊得到 v。直觀上說，這些就是有望對 v 做出貢獻的所有 LLM 思維。

作者通過研究表明，通過整合聚合等思維變換技術(shù)，GoT 能讓思維容量比其它方案顯著更大。

GoT 框架

下面詳細介紹一下 GoT 框架。其示意圖見圖 1，圖中還給出了其它 prompt 設(shè)計策略的示意圖。

在數(shù)學形式上，GoT 可以建模為一個元組 (G, T, E, R)，其中 G 是 LLM 推理過程（即上下文中的所有 LLM 思維及其關(guān)系），T 是可能的思維變換，E 是用于獲得思維分數(shù)的評估器函數(shù)，R 是用于選擇最相關(guān)思維的排序函數(shù)。

推理過程

這里，推理過程被建模為一個有向圖 G = (V, E)，其中 V 是一組頂點，E ? V × V 是一組邊。G 是有向的，因此邊是有序頂點對 E ? V × V 的子集。一個頂點包含對當前問題的一個解答，不管這個問題是最初的問題、還是中間問題或最后的問題。這種思維的具體形式取決于用例；其可能是一段文本（在寫作任務(wù)中），也可能是一個數(shù)值序列（在排序任務(wù)中）。有向邊 (t_1, t_2) 表示思維 t_2 的構(gòu)建方式是將 t_1 用作「直接輸入」，即通過明確指示 LLM 使用 t_1 來生成 t_2。

在某些用例中，圖節(jié)點屬于不同類別。舉個例子，在寫作任務(wù)中，某些頂點建模寫出一段文本的計劃，其它節(jié)點則建模實際的文本段。在這種情況下，GoT 采用異構(gòu)圖 G = (V, E, c) 來建模 LLM 推理，其中 c 將頂點 V 映射到各自的類 C（在上述案例中，C = {plan, par} ）。這樣一來，任何頂點 v 都可以建模推理的不同方面。

于是 G 就與 LLM 推理過程關(guān)聯(lián)了起來。為了推進這一過程，用戶可對 G 使用思維變換。舉個這種變換的例子：將目前為止分數(shù)最高的思維融合成一個新的。另一個例子是對一個思維進行循環(huán)，以對其增強。注意，這些變換嚴格擴展了 CoT、CoT-SC 或 ToT 中可用轉(zhuǎn)換的集合。

思維變換

得益于將基于圖的模型用于推理，GoT 能實現(xiàn)全新的思維變換。研究者稱之為圖使能的變換（graph-enabled transformation）。比如，在寫作任務(wù)中可以將多篇輸入文章組合成一篇連貫一致的摘要。在排序時，可將多個已排序的數(shù)值子數(shù)組合并為一個最終已排序數(shù)組。圖 2 給出了聚合和生成的示例。

從數(shù)學形式上講，每個這樣的變換都可以建模成 T (G, p_θ)，其中 G = (V, E) 是反映推理當前狀態(tài)的圖，p_θ 是所使用的 LLM。T 修改 G 的方式通常是通過添加新頂點及其傳入邊。于是有 G′ = T (G, p_θ) = (V′, E′)，其中 V′ = (V ∪ {V^+}) \ {V^?} 且 E′ = (E ∪ {E^+}) \ {E^?}。V^+ 和 E^+ 是注入到 G 中的新頂點和邊，它們分別建模的是新的思維和它們的依賴關(guān)系。

為了最大化 GoT 的表達能力，用戶還可以刪除思維，做法是指定要刪除的相應(yīng)頂點和邊（分別為 V^? 和 E^?）。在這里，確保集合 V^+、E^+、V^? 和 E^? 有一致的變換是用戶的責任（舉個例子，用戶不會嘗試刪除不存在的頂點）。這使得 prompt 方案能無縫整合，其中用戶可以為了節(jié)省上下文中的空間而移除無法帶來提升的推理部分。

T 的具體形式及其影響 G 的方式取決于具體的變換。下面首先詳細介紹主要幾個圖使能的思維變換，然后會描述 GoT 何以囊括之前方案的變換。除非另有說明，V^? = E^? = ?。

聚合變換：用戶可以使用 GoT 將任意思維聚合成新思維，實現(xiàn)取長補短。這里看看只創(chuàng)建一個新頂點的基礎(chǔ)形式：V^+ = {v^+} 且 E^+ = {(v_1, v^+), ...,(v_k, v^+)}，其中 v_1, ..., v_k 是被融合的 k 個思維。更一般而言，這能實現(xiàn)對推理路徑的聚合，即更長的思維鏈，而不只是單個思維。使用圖模型，可以輕松實現(xiàn)聚合變換：通過添加來自建模了幾條鏈中最后思維的頂點 v_1, ..., v_k 的傳出邊，使之指向組合這些鏈的單個思維 v^+。

細化變換：另一種思維變換是通過修改內(nèi)容對當前思維 v 進行細化：V^+ = {} 和 E^+ = {(v, v)}。圖中的這個循環(huán)表示與原始思維有同樣連接的迭代版思維。

生成變換：最后，用戶還可以基于已有的單個思維 v 生成一個或多個新思維。這一類別中包含 ToT 或 CoT-SC 等更早期方案中的類似推理步驟。從數(shù)學形式上講，有 

對思維進行評分和排名

對思維評分的目的是為了理解當前的解答是否足夠好。分數(shù)被建模為一個一般函數(shù) E (v, G, p_θ)，其中 v 是所要評估的思維。為了盡可能讓 E 更普適通用，E 中還使用了推理的整個過程 (G)，因為在某些評估場景中，分數(shù)可能與其它思維相關(guān)。

GoT 也能排名。研究者使用了函數(shù) R (G, p_θ, h) 來建模，其中 h 指定了要被 R 返回的 G 中排名最高的思維的數(shù)量。雖然 R 的具體形式取決于用例，但最常使用一個簡單而有效的方法是返回分數(shù)最高的 h 個思維，即 v_1, ..., v_h = R (G, p_θ, h)。

E 和 R 的具體形式取決于用例。

系統(tǒng)架構(gòu)和擴展能力

GoT 由一組交互式模塊構(gòu)成，見圖 3（藍色部分）。這些模塊是 Prompter（準備用于 LLM 的消息）、Parser（解析器，提取 LLM 答復(fù)中的信息）、評分模塊（驗證 LLM 答復(fù)并評分）、Controller（控制器，協(xié)調(diào)整個推理過程，并決定如何推進推理）。Controller 中包含另外兩個重要組件：操作圖（GoO）和圖推理狀態(tài)（GRS）。GoO 是一個靜態(tài)結(jié)構(gòu)，其指定了對給定任務(wù)的圖分解，即它規(guī)定了應(yīng)用于 LLM 思維的變換及其順序和依賴關(guān)系。GRS 是一個動態(tài)結(jié)構(gòu)，其維持著正在進行的 LLM 推理過程的狀態(tài)（其思維及其狀態(tài)的歷史）。

用例示例

研究者描述一些 GoT 的一些用例，包括排序、集合運算、關(guān)鍵詞計數(shù)、文檔合并；下圖 4 便是 GoT 的排序用例中一個圖分解示例。這里我們不對用例做詳細介紹，詳情參閱原論文。

延遲與容量的權(quán)衡

延遲（在思維圖中抵達給定最終思維的跳數(shù)）和容量之間的權(quán)衡也非常重要，研究者表明：GoT 在這一權(quán)衡上也優(yōu)于之前的 prompt 設(shè)計方案。這篇論文定義了一個新指標 —— 思維容量，即可以影響給定思維 t 的之前 LLM 思維的數(shù)量。從數(shù)學上看，思維 t 的容量就是在思維圖中，與 t 之間存在路徑的思維的數(shù)量。研究者假設(shè)輸出單個思維的成本為 O (1)，并將每個提示方案的總成本固定為 Θ(n)。

各種方案的結(jié)構(gòu)如下。CoT-SC 由源自單個起始思維的 k 條獨立鏈構(gòu)成。ToT 是一條完全 k 叉樹。而在 GoT 中，會在其葉節(jié)點處加入一個完全 k 叉樹，并帶有一個「鏡像」k 叉樹 —— 其大小一樣而邊是反向的。

詳細分析見表 2。CoT 的容量較大，最大可至 N，但也有 N 的高延遲成本。CoT-SC 將延遲降低了 k 倍（對應(yīng)于其分支因子），但同時其容量也會減小 k 倍。ToT 的延遲為 log_k N，但容量也很低。GoT 是唯一能做到低延遲 log_k N 和高容量 N 的方案。GoT 之所以能做到這一點，是因為其利用了思維聚合，使其可從圖分解中任何其它中間思維得到最終思維。

評估

研究者通過實驗展現(xiàn)了 GoT 相對于其它方案的優(yōu)勢。其中重點比較的是 GoT 和 ToT，因為 ToT 的表現(xiàn)已經(jīng)優(yōu)于其它方案了。當然，他們也還是用 IO、CoT 和 CoT-SC 做了些實驗。

圖 5（排序）、6（集合交集）、7（關(guān)鍵詞計數(shù)）、8（文檔合并）展示了實驗結(jié)果。

總體而言，在實驗評估過的所有基準上，GoT 的輸出質(zhì)量都優(yōu)于 ToT，并且還實現(xiàn)了更低的推理成本。