如今，大型語言模型（LLM）及其高級提示策略的出現，標志著對語言模型的研究取得了重大進展，尤其是在經典的 NLP 任務中。這其中一個關鍵的創新是思維鏈（CoT）提示技術，該技術因其在多步驟問題解決中的能力而聞名。這項技術遵循了人類的順序推理，在各種挑戰中表現出了優秀的性能，其中包括跨域、長泛化和跨語言的任務。CoT 及其富有邏輯的、循序漸進的推理方法，在復雜的問題解決場景中提供了至關重要的可解釋性。

盡管 CoT 取得了長足的進展，但研究界尚未就 CoT 及其變體的具體機制和有效原因達成共識。這種知識差距意味著提高 CoT 性能仍是一個探索領域。而這種探索主要依賴于試錯，因為目前還缺乏改進 CoT 效果的系統性方法論，研究人員只能依賴猜測和實驗。但是這也同時表明該領域存在著重要的研究機遇：對 CoT 的內部運作形成更深入、更結構化的理解。如果實現這個目標，不僅能揭開當前 CoT 過程的神秘面紗，還能為在各種復雜的 NLP 任務中更可靠、更高效地應用這種技術鋪平道路。

來自美國西北大學、利物浦大學和新澤西理工大學等的研究者們，進一步探討了推理步驟的長度與結論準確性之間的關系，幫助人們加深關于如何有效解決 NLP 問題的理解。下面這篇文章探索了推理步驟是否是促使 CoT 發揮作用的 prompt 中最關鍵的部分（見圖 1）。本文實驗中嚴格的控制變量，特別是在加入新的推理步驟時，研究者會確保不會引入額外的知識。在零樣本實驗中，研究者將初始 prompt 從「請逐步思考」調整為「請逐步思考，并且盡可能思考出更多的步驟」。對于小樣本問題，研究者設計了一個實驗，在保持所有其他因素不變的情況下，擴展基礎推理步驟。

• 論文標題：The Impact of Reasoning Step Length on Large Language Models
• 論文鏈接：https://arxiv.org/pdf/2401.04925.pdf

本文的第一組實驗評估了在上述策略下，使用 Auto-CoT 技術，在零樣本和小樣本任務中推理性能的提高情況。隨后，本文評估了不同方法在不同推理步數下的準確性。接著，研究者擴大了調研對象，比較了本文提出的策略在不同 LLM（如 GPT-3.5 和 GPT-4）上的有效性。研究結果表明，在一定范圍內，推理鏈的長度與 LLM 的能力之間存在明顯的相關性。但耐人尋味的是，當研究者在推理鏈中引入誤導信息時，性能仍然有所提高。這推導出了一個重要結論：影響性能的關鍵因素似乎是思維鏈的長度，而不是其準確性。

本文的主要發現如下所示：

• 對于小樣本 CoT，推理步數和精度之間存在直接的線性關系。這為優化復雜推理中的 CoT 提示提供了一種可量化的方法。具體來說，增加 prompt 中的推理步驟大大提高了 LLM 在多個數據集上的推理能力。反過來，即使在保留了關鍵信息的情況下，縮短推理步驟也會顯著削弱模型的推理能力。
• 即使是不正確的推理，如果能保持必要的推理長度，也能產生有利的結果。例如，在數學問題等任務中，過程中產生的中間數字出錯也不太會影響最終結果。
• 增加推理步驟所產生的收益大小受限于任務本身：更簡單的任務需要更少的步驟，而更復雜的任務則從更長的推理序列中獲得顯著收益。
• 增加零樣本 CoT 中的推理步驟也可以顯著提高 LLM 的準確性。

研究方法

研究者通過分析來檢驗推理步驟與 CoT 提示性能之間的關系。方法的核心假設是，推理過程中的序列化步驟是 CoT 提示中最關鍵的組成部分，能夠使語言模型在生成回復內容時應用更多的邏輯進行推理。為了測試這一觀點，本文設計了一個實驗，在 CoT 的推理過程中先后擴展和壓縮基礎推理步驟，同時保持所有其他因素不變。具體而言，研究者只系統地改變推理步驟的數量，不引入新的推理內容或刪除已有的推理內容。研究者在下文中評估了零樣本和少樣本的 CoT 提示。整個實驗過程如圖 2 所示。通過這種控制變量分析的方法，研究者闡明了 CoT 如何影響 LLM 生成邏輯健全的應答能力。

零樣本 CoT 分析

在零樣本場景中，研究者將最初的 prompt 從「請逐步思考」修改為「請逐步思考，并且盡可能思考出更多的步驟」。之所以做出這一改變，是因為與少樣本 CoT 環境不同，使用者不能在使用過程中引入額外的推理步驟。通過改變初始 prompt，研究者引導 LLM 進行了更廣泛的思考。這種方法的重要性在于能夠提高模型的準確性，而且不需要少樣本場景中的典型方案：增量訓練或額外的示例驅動優化方法。這種精細化策略確保了更全面、更詳細的推理過程，顯著提高了模型在零樣本條件下的性能。

小樣本 CoT 分析

本節將通過增加或壓縮推理步驟來修改 CoT 中的推理鏈。其目的是研究推理結構的變化如何影響 LLM 決策。在推理步驟的擴展過程中，研究者需要避免引入任何新的任務相關信息。這樣，推理步驟就成了唯一的研究變量。

為此，研究者設計了以下研究策略，以擴展不同 LLM 應用程序的推理步驟。人們思考問題的方式通常有固定的模式，例如，一遍又一遍地重復問題以獲得更深入的理解、創建數學方程以減輕記憶負擔、分析問題中單詞的含義以幫助理解主題、總結當前狀態以簡化對主題的描述。基于零樣本 CoT 和 Auto-CoT 的啟發，研究者期望 CoT 的過程成為一種標準化的模式，并通過在 prompt 部分限制 CoT 思維的方向來獲得正確的結果。本文方法的核心是模擬人類思維的過程，重塑思維鏈。表 6 中給出了五種通用的 prompt 策略。

• 單詞思維：這種策略是要求模型解釋單詞并重建知識庫。通常情況下，一個單詞有多種不同的含義，這樣做的效果是讓模型跳出條條框框，根據生成的解釋重新解釋問題中的單詞。這一過程不會引入新的信息。在 prompt 中，研究者給出了模型正在思考的單詞的例子，模型會根據新問題自動挑選單詞進行這一過程。
• 問題重載：反復閱讀問題，減少其他文本對思維鏈的干擾。簡而言之，讓模型記住問題。
• 重復狀態：與反復閱讀類似，在一長串推理之后加入一個當前狀態的小結，目的是幫助模型簡化記憶，減少其他文本對 CoT 的干擾。
• 自我驗證：人類在回答問題時會檢查自己的答案是否正確。因此，在模型得到答案之前，研究者增加了一個自我驗證過程，根據一些基本信息來判斷答案是否合理。
• 方程制備：對于數學問題，制作公式可以幫助人類總結和簡化記憶。對于一些需要假設未知數 x 的問題，建立方程是一個必不可少的過程。研究者模擬了這個過程，并讓模型嘗試在數學問題中建立方程。

總體而言，本文的即時策略都在模型有所體現。表 1 展示的內容是其中一個例子，其他四種策略的示例可以在原論文中查看。

實驗及結果

推理步驟與準確性的關系

表 2 比較了使用 GPT-3.5-turbo-1106 在三類推理任務的八個數據集上的準確性。

得益于研究者能夠將思維鏈過程標準化，接下來就可以量化在 CoT 的基本流程中增加步驟而對準確性的提高程度。本實驗的結果可以回答之前提出的問題：推理步驟與 CoT 性能之間的關系是什么？該實驗基于 GPT-3.5-turbo-1106 模型。研究者發現，有效的 CoT 過程，例如在 CoT 過程中增加多達六個步驟的額外思維過程，會讓大型語言模型推理能力都會得到提高，并且是在所有的數據集上都有體現。換句話說，研究者發現準確性和 CoT 復雜性之間存在一定的線性關系。

錯誤答案的影響

推理步驟是影響 LLM 性能的唯一因素嗎？研究者做了以下嘗試。將 prompt 中的一個步驟更改為不正確的描述，看看它是否會影響思維鏈。對于這個實驗，本文研究者在所有 prompt 中添加一個錯誤。有關具體示例，請看表 3。

對于算術類型的問題，即使其中一個 prompt 結果出現偏差，對推理過程中思維鏈的影響也是微乎其微的，因此研究者認為在解決算術類型的問題時，大語言模型對提示中思維模式鏈的學習要多于單一計算。對于類似硬幣數據的邏輯問題，prompt 結果中的一個偏差往往會帶來整個思維鏈的支離破碎。研究者同樣使用 GPT-3.5-turbo-1106 完成這項實驗，并根據之前實驗得出的每個數據集的最佳步數保證了性能。結果如圖 4 所示。

壓縮推理步驟

先前的實驗已經證明了增加推理步驟可以提高 LLM 推理的準確性。那么在小樣本問題中壓縮基礎推理步驟會損害 LLM 的性能嗎？為此，研究者進行了推理步驟壓縮實驗，并采用實驗設置中概述的技術，將推理過程濃縮成 Auto CoT 和 Few-Shot-CoT，減少推理步驟數。結果如圖 5 所示。

結果顯示，模型的性能顯著下降，回歸到與零樣本方法基本相當的水平。這個結果進一步表明，增加 CoT 推理步驟可以提高 CoT 性能，反之亦然。

不同規格模型的性能對比

研究者還提出疑問，我們能否觀察到縮放現象，即所需的推理步驟與 LLM 的大小有關？研究者研究了各種模型（包括 text-davinci-002、GPT-3.5-turbo-1106 和 GPT-4）中使用的平均推理步驟數。通過在 GSM8K 上的實驗計算出了每個模型達到峰值性能所需的平均推理步驟。在 8 個數據集中，該數據集與 text-davinci-002、GPT-3.5-turbo-1106 和 GPT-4 的性能差異最大。可以看出，在初始性能最差的 text-davinci-002 模型中，本文提出的策略具有最高的提升效果。結果如圖 6 所示。

協同工作實例中問題的影響

問題對 LLM 推理能力的影響是什么？研究者想探討改變 CoT 的推理是否會影響 CoT 的性能。由于本文主要研究推理步驟對性能的影響，所以研究者需要確認問題本身對性能沒有影響。因此，研究者選擇了數據集 MultiArith 和 GSM8K 和兩種 CoT 方法（auto-CoT 和 few-shot-CoT）在 GPT-3.5-turbo-1106 中進行實驗。本文的實驗方法包括對這些數學數據集中的樣本問題進行有意的修改，例如改變表 4 中問題的內容。

值得注意的是，初步觀察表明，這些對于問題本身的修改對性能的影響是幾個要素里最小的，如表 5 所示。

這一初步發現表明，推理過程中步驟的長度是大模型的推理能力最主要的影響因素，問題本身的影響并不是最大的。 

更多詳細內容，請閱讀原論文。