深入理解思維樹 (ToT)策略提示詞設計 原創 精華
Prompt的技巧策略應適應LLM大模型框架進行改進，主要框架包括鏈式思考、思維樹和檢索增強生成。本文將深入學習思維樹，探討如何建立解決通用問題的語言模型，并使LLM深思熟慮地解決問題。思維樹是進化版的提示策略，引入復雜思維結構，以引導模型生成準確、連貫的輸出。
一、何為思維樹(ToT)
想象一下，你正在駕駛一輛汽車，沒有地圖的情況下如何進入正確的路口，找到最佳的路徑？在這樣的場景下，思維樹就像是一張詳細的道路地圖。在這張地圖上，不同的道路代表著不同的語義信息，而交叉口和路標則代表著不同的思維節點。當你提出一個問題或者輸入一個請求時，就相當于輸入了目的地，而思維樹會根據你的輸入在地圖上找到最佳的路徑，指引你達到目的地。
思維樹作為一種新型導航系統，在智能和靈活性方面超越了傳統模型。它不僅規劃出最短路線，還根據個人需求和具體情境進行路線調整。
例如，在提出問題時，思維樹能夠綜合考慮問題的多維度，探索多條相關路徑，并呈現多樣化的解決方案。
隨著問題表述的更改或更多信息的添加，思維樹能夠動態調整其路線規劃，以提供更加精確的答案。這種系統如同一個富有洞察力的向導，助力我們更深入地理解和生成自然語言，確保信息輸出的準確性和連貫性。
ToT框架的核心概念是以樹狀結構來表示語義信息。這種結構是一個數據形式和抽象概念，幫助模型理解輸入序列的語義信息并在生成輸出時參考這些信息。它使得ToT框架能更好地模擬人類思維，產生自然、準確的文本。
ToT的具體回答框架包括以下四個問題：
- 舉一反三，列舉多路徑通羅馬
- 分布評估，集成方案，選擇最優
- 啟發性地評估狀態，前后枚舉追溯，全局最優
- 集成開搜，確定路徑
圖1：展示了利用LLMS解決問題的方法。每個框表示一個連貫的思考過程，作為解決步驟。
二、TOT核心框架
ToT核心框架的講解深入，但本文避免使用復雜公式。
CoT方法通過逐步展示模型的響應過程，降低了結果不準確的風險并簡化了評估。這種方法不僅顯示最終答案或解決方案，還展示了達到答案的具體步驟，特別適用于教育和解釋復雜問題，以及需要詳細說明決策過程的情況。它讓用戶能夠跟蹤模型的思考過程，理解從問題描述到結論的路徑。
ToT(Tree of Thoughts)被視為CoT (Chain of Thoughts)的升級版，主要是因為它在表示和利用語義信息方面更加強大和靈活。ToT使用樹狀結構表示語義信息，與CoT的線性鏈式不同，ToT能更好地捕捉和表示復雜語義關系，提高對自然語言的理解和生成。
通過引入樹狀結構，ToT能夠同時考慮多個思維路徑，不僅限于單一線性結構。這使得ToT能根據不同的語境和需求生成多樣化的輸出，實現語義的分層和組織。
在ToT框架中，節點代表語義單元如概念或主題。節點通過邊相連形成關聯網絡。模型接收序列后尋找相關節點并據此生成輸出。
ToT框架能同時考慮多條思維路徑并根據語義信息動態調整輸出策略，使其生成文本靈活、多樣化并適應不同語境。
三、ToT框架推理流程
示例如下：
我們想用基于思維樹的模型回答“為什么天空是藍色的”。
- 輸入問題：我們輸入問題“為什么天空是藍色的”到思維樹模型。
- 思維樹搜索：思維樹模型搜索樹結構尋找問題相關節點，這些節點涉及光學、大氣科學和顏色原理等概念。
- 多路徑選擇：思維樹揭示了多條與問題相關的路徑，包括大氣散射、光譜原理和顏色感知機制的節點。
- 整合信息：模型整合不同路徑的信息以理解大氣散射和光波的傳播與吸收過程。
- 生成答案：基于綜合的理解，思維樹模型生成了一個關于天空為什么是藍色的解釋。天空之所以呈現藍色，是因為太陽光中的藍光波長較短，容易被大氣分子散射到我們眼中。
ToT框架通過多個協同工作的子模型來理解和生成輸入序列的語義輸出。
語義理解：ToT框架通過使用預訓練模型如BERT、GPT對輸入文本進行語義理解，將自然語言轉換為計算機可理解的形式。這一過程涉及編碼和表示文本，以捕捉其語義信息。
構建思維樹：ToT框架通過創建思維樹來展示文本中的語義路徑和關聯，每個節點代表一個語義單元，如概念或主題，邊則表示這些單元之間的關系。
路徑選擇：ToT框架依據輸入文本和思維樹選擇最合適的思維路徑，通過路徑搜索算法確定相關路徑。它考慮多條可能的路徑，并根據語義信息動態調整策略。
整合信息：ToT框架選擇思維路徑后整合信息，通過信息融合和加權算法確保考慮多個因素生成文本。
生成輸出：最終，ToT框架通過匯總的信息生成輸出文本。這一過程依賴于文本生成模型和算法，通常采用如GPT這樣的生成式模型來創造流暢且自然的文本。ToT框架利用整合的信息和選定的思路來引導文本的創作過程，旨在產生準確和多元的輸出結果。
總結：
展望未來，人工智能技術的不斷進步預示著更多像ToT框架這樣的革新技術的出現。這些先進的AI系統不僅功能更強大、智能水平更高，而且能夠更加深入地理解并有效處理自然語言，為人們的日常生活和職場工作帶來前所未有的便利和新的可能性。作為創新的典范，ToT框架為我們打開了一扇門，提供了一種全新的角度和方法來與自然語言互動。隨著AI技術的持續進化，我們有理由期待它為我們的生活和工作帶來更多令人驚嘆的變化和進步。
本文轉載自公眾號頂層架構領域
