快速理解 GraphRAG：構建更可靠、更智能的 Chatbot 原創
編者按：傳統的檢索增強生成（RAG）技術在處理需要深入理解實體關系的問題時常常力不從心，那么有什么新的技術可以突破這一限制嗎？
本文深入探討了 GraphRAG 技術，這一創新方案通過將非結構化文本轉化為結構化知識圖譜，巧妙地解決了上述難題。GraphRAG 能顯著提升 AI 系統理解和回答復雜問題的能力，尤其在跨時代、跨學科的問題上表現出色。
作者也指出了實施 GraphRAG 面臨的挑戰，包括知識圖譜構建的復雜性、可擴展性問題以及維護成本等。但它無疑為 AI 對話系統開辟了一條新的發展道路，我們有理由期待未來的AI助手能夠更智能、更可靠地回答各種復雜問題，為用戶提供更高質量的交互體驗。
作者 | Rendy Dalimunthe
編譯 | 岳揚
開發一個能夠處理真實問題并給出精準回答的聊天機器人，實屬不易。盡管大語言模型已取得重大進展，但如何將這些模型與知識庫結合起來，提供可靠且上下文信息豐富的答案，仍是一個待解的難題。
Photo by Google DeepMind[1] on Unsplash[2]
關鍵問題通常在于模型的“幻覺”現象——即產生錯誤或不存在的信息，以及模型在理解信息間微妙關系時的上下文把握能力不足。盡管有一些人嘗試構建強大穩固的問答系統，但往往模型給出的答案不盡人意，即使它們接入的是內容全面的知識庫，也難以成功。
RAG 技術可以將生成的模型響應與現實世界的數據聯系起來，從而有效減少了“幻覺”現象，但要準確回答復雜問題仍是挑戰重重。 即便知識庫中其實包含了相關信息，只是不那么顯而易見，用戶還是常會遇到諸如“xx主題在檢索文本中未被明確提及”的回復。在這種情況下，GraphRAG（Graph Retrieval-Augmented Generation）技術就派上用場了，它通過利用結構化的知識圖譜，極大地提高了模型提供精確且具有豐富上下文信息答案的能力。
01 RAG：檢索與生成的橋梁
RAG 技術是將基于檢索的方法和基于生成的方法的優點結合起來的重要一步。面對用戶提問，RAG 能夠從龐大的語料庫中檢索到相關的文檔或段落，并據此生成答案。因此，我們可以確信，基于實據數據生成的文本既信息豐富又切合上下文。
以“法國的首都是什么？”這樣的簡單問題為例，RAG 系統會在其語料庫中尋找涉及法國及其首都巴黎的信息，檢索到相關內容后，生成答案：“法國的首都是巴黎。”這種方法非常適合處理簡單問題，并能提供清晰明確的答案。
然而，當遇到更復雜的問題，尤其是那些需要理解實體間關系，而這些關系在檢索到的文檔中并未明確表述時，RAG 的表現就不盡如人意了。 例如，面對“17 世紀的科學成就如何影響 20 世紀初的物理學？”這樣的問題，RAG 系統往往難以給出滿意的答案。（關于這個問題的例子，我們稍后還會進一步討論。）
02 GraphRAG：發揮知識圖譜的潛能
正如 Microsoft Research 博客[3]首次提出 GraphRAG 時概述的那樣，GraphRAG 的目標是通過整合基于知識圖譜的檢索方法來克服前文描述的這些限制。簡而言之，它將知識庫中的非結構化文本轉換成結構化的知識圖譜，在這個知識圖譜中，節點表示實體（比如人物、地點、概念等），而邊則表示實體間的相互關系。這種結構化的方式使得模型能夠更有效地理解和運用不同信息間的內在聯系。
Photo by Alina Grubnyak[4] on Unsplash[2]
接下來，讓我們更細致地探討 GraphRAG 的概念，并通過與 RAG 的對比，以易于理解的方式來揭示其工作原理。
首先，我們設想一個由各種科學和歷史文獻中的句子構成的知識庫，內容如下：
- “阿爾伯特·愛因斯坦提出了相對論，這一理論顛覆了理論物理學和天文學。”
- “相對論提出于 20 世紀初期，它極大地深化了我們對宇宙空間和時間本質的理解。”
- “以運動定律和萬有引力定律著稱的牛頓為經典力學奠定了基礎。”
- “1915 年，愛因斯坦在原有狹義相對論的基礎上，進一步提出了廣義相對論。”
- “牛頓在 17 世紀的研究成果，為現代物理學的發展打下了堅實的基礎。”
在 RAG 系統中，上述句子將作為非結構化文本存儲。例如，當詢問“17 世紀的科學成就如何影響 20 世紀初的物理學？”時，如果文檔的內容和檢索質量不能將 17 世紀的影響與 20 世紀早期的物理學直接聯系起來，系統就會陷入困境。它可能只能提供如下答案：“牛頓在 17 世紀的研究工作為現代物理學的大部分內容奠定了基礎。阿爾伯特·愛因斯坦在 20 世紀初提出了相對論。”這是因為 RAG 能夠檢索到相關信息，但卻難以清晰地闡釋 17 世紀物理學對 20 世紀初物理學發展的具體影響。
與此相反，GraphRAG 將這些文本轉換成結構化的知識圖譜。知識圖譜展現了不同實體間的相互關系，并通過一套規則來組織信息，這樣就能揭示出那些不那么明顯的聯系。
借助 GraphRAG 系統，先前的知識庫將轉變為一組節點和邊的關系，具體如下。
面對“17世紀的科學成就如何影響20世紀初的物理學？”這一問題，基于 GraphRAG 的檢索器能夠追溯從牛頓的理論到愛因斯坦的成就之間的演變，清晰地展示了 17 世紀物理學對 20 世紀初物理學發展的深刻影響。這種結構化的信息檢索使得答案不僅內容豐富，而且精確到位：“牛頓在 17 世紀提出的運動定律和萬有引力定律，為經典力學的發展奠定了基石。這些基本原理對阿爾伯特·愛因斯坦在 20 世紀初發展相對論產生了重要影響，相對論進一步拓展了我們對宇宙空間和時間的認識。”
GraphRAG 通過運用結構化知識圖譜，提升了模型處理復雜問題的能力，并通過提供明確定義的關系作為答案的基礎，降低了產生“幻覺”的可能性。 這種做法實質上使得 GraphRAG 在開發更可靠、更智能的對話式問答系統時更加有效。
將非結構化的知識庫轉化為結構化的知識圖譜，使得 GraphRAG 能夠深入理解信息內涵，從而使語言模型能夠根據上下文生成準確恰當的回答。這是對話式 AI 朝著更先進、更可靠的聊天機器人系統發展的重要一步。
然而，正如 GraphRAG 帶來的其他優勢一樣，它也面臨著一些挑戰。
首先，構建知識圖譜是一個極其復雜的過程。 將無序的知識庫轉換為結構化的知識圖譜需要精細的實體提取（entity extraction）和關系識別方法（identification of relationships），而這些方法的計算成本可能非常高昂。
其次，可擴展性問題也隨之出現。 隨著知識庫規模的擴大，知識圖譜的復雜性也在增加。如果知識圖譜變得過大，以至于在運行時難以遍歷，那么可能會帶來可擴展性問題。對于大規模知識圖譜，優化知識圖譜檢索算法將成為一個主要挑戰。
再者，知識圖譜的維護成本也是一個問題。 知識圖譜需要根據新信息和現有數據的變化不斷更新。在一些很可能經常變化的領域，這可能會成為一項非常昂貴的工作，尤其是在技術或醫學領域。這意味著，盡管結果可能很有前景，但要長期保持知識圖譜的正確性和相關性，還需要付出大量的努力。
盡管如此，GraphRAG 仍有望為未來的對話式 AI Agents 帶來了更高的智能程度、可靠性和上下文感知能力。更多的研究和開發工作可以幫助解決與 GraphRAG 相關的一些困難，從而為構建更先進、更智能的人工智能驅動的解決方案鋪平道路。
Thanks for reading!
Hope you have enjoyed and learned new things from this blog!
Rendy Dalimunthe
Specialist in conversational AI, data management, and system design.
END
本期互動內容 ??
?你曾經遇到過無法準確回答的復雜問題嗎？請分享你的經歷，你認為 GraphRAG 能夠解決你遇到的困難嗎？
??文中鏈接??
[1]https://unsplash.com/@googledeepmind?utm_source=medium&utm_medium=referral
[2]https://unsplash.com/?utm_source=medium&utm_medium=referral
[4]https://unsplash.com/@alinnnaaaa?utm_source=medium&utm_medium=referral
原文鏈接：
https://towardsdatascience.com/an-easy-way-to-comprehend-how-graphrag-works-6d53f8b540d0
