何時檢索，何時生成？Self-DC：自我分治解決復合問題
現有的工作非常關注大模型本身的知識邊界，以達成對于大模型known和unknown的問題能夠進行不同的處理。簡單來說，有四大類主要的問題
- Single known: 簡單的通過大模型內部的知識即可解決，比如常見的generate-then-read方法
- Single unknown: 需要調用外部工具如搜索引擎等獲取外部知識進行解決，比如retrieve-then-read方法
- Compositional known: 需要進行復雜推理，比如compositional reasoning將問題進行分解
- Compositional unknown: 這個問題是其中最為復雜的，因為一個compositional unknown 問題包括其他所有可能性，比如一個compositional known和single unknown的結合等。
對于一個復合問題，我們什么時候利用外部檢索，什么時候促使大模型產生已知的知識，以回答當前的問題?
為了解決這個問題，可以不加區分地使用外部檢索方法，也就是樸素RAG，也可以首先評估關于該問題的大型語言模的確定性或不確定性，隨后根據評估調用生成-讀取或檢索-讀取。
例如，《Can llms express their uncertainty? an empirical evaluation of confi-dence elicitation in llm》,這個工作列舉了多種方式，基于語言的Verbalized，基于一致性的Consistency-based，以及它們的混合方法Hybrid。
這兩種方法都有自己的局限性，例如，簡單地對每個問題調用外部檢索并不能保證更好的性能，而且會浪費大量已知知識浪費，而且在存在迭代檢索的情況下，也會帶來嚴重的效率問題。此外，將問題分為已知和未知的二元對立過于簡化了問題的復雜性，在某些情況下并不可行以及效果并不佳。
例如，如圖1所示，一個組合未知問題由已知和未知子問題組成。因此，它將退化為簡單地自動調用每個問題的檢索，因為未知的組成仍然是llm的未知問題。
“先檢索后讀取”和“再生成后讀取”是開放域問答中處理未知和已知問題的兩種典型解決方案，前者檢索需要的外部知識，后者提示大語言模型生成編碼在參數中的內部已知知識，但也存在一些由已知或未知的子問題組成的未知問題。
此外，簡單的二元分類(已知或未知)變得次優且效率低下，因為它會對每個組成未知問題過多地調用外部檢索。
為此，《Self-DC: When to retrieve and When to generate? Self Divide-and-Conquer for Compositional Unknown Questions》提出了第一個組合未知問答數據集(CuQA)，并引入了一個自分而治(Self-dc)框架，使llm能夠自適應地按需調用不同的方法，從而提高了性能和效率。
論文題目：
Self-DC: When to retrieve and When to generate? Self Divide-and-Conquer for Compositional Unknown Questions
論文鏈接：
一、主要實現思路
Self-DC主要采用的是自我分而治之的思路，如圖2所示：
一般來說，給定一個問題，首先得到大模型對該問題的置信度分數，然后可以相應地選擇處理當前問題的方式。具體地，其將置信度評分分為 [0，α-β]，(α-β，α+β)，[α+β，1] 三個范圍，其中 α 和 β 是超參數。因此，當置信度分數落在左側 ([0，α?β]) 或右側 ([α+β，1]) 時，可以分別調用檢索-讀取或生成-讀取來回答。
此外，當遇到不確定或令人困惑的問題時，將問題分解成幾個子問題，旨在減少不確定性。為了保證迭代不溢出，設置了幾個終止條件：1)子問題數為1，即可能是單個問題；2)迭代深度的次數小于一個預定義的 t ，在這種情況下，簡單地將當前子問題視為未知問題，然后調用retrieve-then-read。然后，將所有子問題的答案結合起來，以提示大模型獲得原始問題的最終答案。
對應的偽代碼如下：
二、關于回復置信度的估計
使用兩種類型的方法來提示LLM本身獲得置信度分數來回答問題。
一種是基于語言化的方法verbalize-based，直接指示llm在問題的答案之后輸出從0到100的置信水平，置信水平表示確定性的程度，然后將置信度分數重新映射到區間[0,1]。提示如下：
另一種是基于概率probability-based的方法，還利用概率信息來計算置信分數。首先使用幾個單詞提示llm生成答案，然后得到生成內容中第 i 個token的概率 pi ，根據如下公式獲取序列中概率的平均值作為置信度分數。
這個思路很有意思，啟發來自于 《A stitch in time saves nine: Detecting and mitigating hallucinations of llms by validating low-confidence generation.》，這個工作也是一個幻覺緩解框架，其思想在于：給定輸入，迭代地從模型中生成句子，并主動檢測和減輕幻覺。在檢測階段，首先識別重要概念，計算模型在其上的不確定性，然后通過檢索相關知識驗證不確定性概念的正確性。在緩解階段，使用檢索到的知識作為證據來修復幻覺句子。最后，將修復后的句子附加到輸入(以及之前生成的句子)上，并繼續生成下一個句子。
其中的不確定估計是我們在這里要討論的重點，該工作認為，GPT-3等模型也在其預測中提供logit輸出值，因此可以采用這些logit輸出值來檢測幻覺。這個logit輸出值可以通過對每個標記位置的logit值應用softmax函數來獲得這些概率。例如，記為 p1, p2, p3，…，pn 分別表示 n 個token的位置。
可以取平均值(Average of Token Probabilities)
概率的歸一化積(Normalized Product of Token Probabilities)
取概率的最小值作為分數(Minimum of Token Probabilities)
為此，還加入 α 和 β 兩個參數來控制不確定性的范圍以提高Self-DC的魯棒性和靈活度。
三、針對問題的不同操作
根據不同的置信度，精心設計了幾個功能來完成組合性問答任務，包括幾個模塊
先生成后閱讀generate-then-read： 首先提示大模型從維基百科生成背景文檔來回答給定的問題，然后要求大模型通過引用生成的段落來回答問題。對應的prompt如下：
先檢索后閱讀retrieve-then-read： 在第一步使用檢索器檢索外部知識，然后要求LLM根據檢索到的文章來回答問題，對應的prompt如下：
問題分解decompose： 提示大模型將總體問題分解為幾個較小的子問題，這些子問題的答案共同有助于得出原始總體問題的答案，類似于Press等人(2023)和Xu等人(2023)，這種用法很常見，其實就是query-expansion的處理。
這塊對應的prompt如下：
典型的分析工作，可以參考 《Measuring and Narrowing the Compositionality Gap in Language Models》，如下所示，通過提示大模型，針對某個問題進行分解，可以得到一些細分問題，從而提升性能。
迭代問答combine-sub-qas:分解后，調用main函數進入下一個迭代，為了得到每個子問題的答案，可以將所有子問題的答案合并得到原始問題的答案，對因的prompt如下：
四、總結
RAG個大系統，就像當時KG一樣，都說要替代掉，但其本身是個大系統，依舊是要往前走的，要有工程觀和落地觀念。
本文主要關注RAG的一個工作，也重新溫習了使用大模型對自身生成內容置信度估計的方案，與之前介紹內容不同的是，除了使用verblized based方案之外，還可以利用token的預測概率，如均值等，這些都是很好玩的思路。
此外，self-DC這套方案，前置要求大模型的置信準確性，也融合了問題擴展等思路，但也存在一些問題，例如，簡單問題和難問題之間存在著很大的差距，如該工作所說的， 對大模型的依賴性太強，當使用verblized based方法時，在gpt-3.5-turbo-1106上，發現超過65%的情況下置信度得分為0，大約20%的情況下置信度得分超過0.9。但當使用gpt-3.5-turbo-instruct，趨勢相反，給出0.9更高的頻率(≈45%)，也就是說，大模型似乎要么高估了正確性，要么直接承認不確定性并拒絕回答。此外，細粒度置信分數(即0.82,0.61)相當罕見，使得β的細粒度選擇毫無意義。
另一方面，當使用probb方法時，有更多的細粒度置信信號，并且大多數落在<0.5部分(≈90%)。結果表明，gpt-3.5-turbo-1106在不確定性估計方面優于gpt-3.5-turbo-instruct，prob方法優于動詞方法，獲得了更準確的置信度分數，分解次數受置信度分數的影響很大，這可能又會落入到一個閾值的調節怪圈里。
所以說，在NLP領域，并不存在一個放之四海而皆準的防范，都是需要特事特辦，都是一堆補丁，即便有了長文本，也有一堆RAG的補丁要做。
Illustration From IconScout By Delesign Graphics
