1、RIG 新模式

上月，谷歌在 Huggingface 和 Kaggle 兩大平臺發布了兩個新型開源模型：datagemma-rag-27b-it與datagemma-rig-27b-it。特別是其中的RIG（Retrieval Interleaved Generation）檢索交錯生成模型，它開創了大型語言模型（LLM）與外部數據庫交互的新方法。

2、RAG VS RIG

對于那些對大型語言模型（LLM）有所了解的同學來說，他們清楚 LLM 是通過訓練數據來學習知識的。因此，在使用大型模型時，我們可能會遇到“幻覺”和“信息過時”等問題，這些問題通常是因為訓練數據庫中缺乏相關知識或者訓練數據未能及時更新所致。鑒于 LLM 訓練所需的高昂時間和經濟成本，在實際應用中，我們通常會采用 RAG（Retrieval Augmented Generation）技術，即為 LLM “接入”一個最新的數據庫，以便通過檢索手段利用 LLM 的能力來回答用戶關于特定或最新數據的問題。

RAG 的工作流程如下：

1. 用戶查詢提交：用戶向 LLM 發送查詢或提示詞。

2. 數據檢索：LLM 將用戶的查詢轉化為數據庫查詢，并向外部數據庫進行數據檢索。

3. 響應生成：LLM 結合自身的知識庫和檢索到的結果，生成相應的答案。

如圖所示，當被問及“再生資源的使用是否有所上升？”時，RAG 應用通過檢索得到的數據表來獲取信息，從而提供了準確的數據驅動的答案。

而此次發布的 RIG 模型則采用了不同的方法—檢索交錯生成。這里的“交錯”指的是在生成部分回答和檢索外部數據之間進行交替。該模型不會等到所有數據檢索完畢才開始生成回答；相反，它是將檢索和響應生成這兩個過程相互交織，使得檢索和回答的生成能夠同步進行。

RIG 模型的操作流程可以概括為以下幾個核心步驟：

1. 用戶查詢提交：用戶向 LLM 發送查詢或提示。

2. 部分響應構建：LLM 利用其內置知識開始構建響應。然而，這個響應可能包含對需要外部數據部分的占位符或初步推測。

3. 實時數據檢索：當 LLM 發現信息缺失或不完整時，它會即時搜索外部資源（例如：數據庫、知識圖譜或基于 Web 的 API）。模型可能會進行多次檢索，以便利用新獲得的數據來豐富其響應。

4. 交錯檢索與生成：在構建響應的過程中，模型在生成響應的不同部分和根據需求獲取數據之間動態切換。比如：如果 LLM 以“可再生能源現在……”開頭，它會在完成該部分響應之前暫停，以便檢索特定的可再生能源利用率數據。

5. 最終響應輸出：在檢索并整合了所有必需的數據后，LLM 將完成響應并呈現給用戶。

3、RIG 效果

谷歌此次發布的兩個開源模型均針對 Data Commons 進行了專門的優化和測試，目的是為了應對大型模型與實際數字數據交互的挑戰。"Data Commons是一個公開可訪問的知識圖譜，它包含了超過2400億個數據點，涉及數十萬個統計變量。這些數據點來源于聯合國（UN）、世界衛生組織（WHO）、疾病控制和預防中心（CDC）以及人口普查局等可靠機構。通過將這些數據集整合成一套統一的工具和AI模型，我們為政策制定者、研究人員和組織提供了獲取精確洞察力的手段。"

同時，谷歌在 Colab 上也為這兩個模型提供了 Notebook，以便用戶更方便地進行體驗。接下來，讓我們觀察 RIG 模型在 Data Commons 上的實際應用效果。

問題：巴基斯坦在衛生目標方面取得了哪些進展？

datagemma-rig-27b-it 的回答：

Here are some key points:


Progress made:


Increased life expectancy: Life expectancy at birth has increased from [DC#1(62.102 yr [1] || 61.8 years)] in 2000 to [DC#2(66.269 yr [2] || 67.2 years)] in 2020.
Reduced maternal mortality: Maternal mortality ratio has declined from [DC#3(387.3715 Per 100,000 live births [3]* || 276 per 100,000 live births)] in 2000 to [DC#4(177.7277 Per 100,000 live births [4]* || 140)] in 2018.
...


FOOTNOTES
[1] - Per datacatalog.worldbank.org, value was 62.102 yr in 2000. See more at https://datacommons.org/explore#q=what%20was%20the%20life%20expectancy%20in%20Pakistan%20in%202000%3F&mode=toolformer_rig 
[2] - Per datacatalog.worldbank.org, value was 66.269 yr in 2020. See more at https://datacommons.org/explore#q=what%20was%20the%20life%20expectancy%20in%20Pakistan%20in%202020%3F&mode=toolformer_rig 


...

4、結論

從上述回答可以觀察到，與 RAG 類似，RIG 的主要功能是減少 LLM 在應用中的幻覺現象。通過將實時數據檢索與響應生成過程緊密結合，RIG 在構建回答過程中不斷查詢可靠的數據源，這有助于模型基于現實世界的事實數據來形成輸出，從而顯著降低產生幻覺的可能性。

RIG 的另一個明顯優勢在于其在生成響應的同時能夠實時調整。與 RAG 僅在生成響應前進行一次數據檢索不同，RIG 在響應生成過程中進行動態的交錯檢索。若 LLM 遇到多個缺失或不完整的信息點，它能夠迭代式地獲取數據，并在此過程中優化其回答。

在實際應用中，RIG 更能充分利用參數規模較小的 LLM 的性能。RAG 將所有查詢和結果單詞都輸入 LLM，其答案的質量很大程度上取決于 LLM 處理上下文長度的能力。而 RIG 的方法則是針對特定數據進行檢索，對上下文長度的處理能力要求更低；此外，對于無法檢索到的數據，RIG 會使用占位符來提示用戶，這使得它提供的數值答案相對更加可靠，特別適合對數據準確性要求較高的敏感領域，比如：價格咨詢、金融服務和醫療咨詢等場景。

本文轉載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/1P4xID8qEHB1fvOdsD5oHQ??