將RAG與知識圖譜相結(jié)合可以提高生成式人工智能應(yīng)用程序的準(zhǔn)確性，可以使用現(xiàn)有的數(shù)據(jù)庫來完成。

生成式人工智能依賴于數(shù)據(jù)來構(gòu)建對用戶查詢的響應(yīng)。而訓(xùn)練大型語言模型(LLM)需要使用大量數(shù)據(jù)，例如OpenAI公司的GPT-3使用了CommonCrawl數(shù)據(jù)集進(jìn)行訓(xùn)練，該數(shù)據(jù)集擁有570GB字節(jié)的數(shù)據(jù)和4000億個(gè)令牌。雖然這些數(shù)據(jù)集的規(guī)模龐大，但都是時(shí)間快照，無法響應(yīng)圍繞當(dāng)前發(fā)生的事件的查詢。人工智能的反應(yīng)也可能包括“幻覺”——提供看似合理但并不真實(shí)的信息。根據(jù)Vectara公司發(fā)布的幻覺排行榜，即使是表現(xiàn)最好的LLM系列 (目前是OpenAI公司開發(fā)的產(chǎn)品)，也存在1.5%至1.9%的幻覺率。

因此，單獨(dú)使用LLM面臨兩個(gè)問題：答案可能過時(shí)或者錯(cuò)誤。為了克服這些潛在的問題，組織可以使用數(shù)據(jù)流將新信息獲取到他們的數(shù)據(jù)集中，并部署檢索增強(qiáng)生成（RAG）以與生成式人工智能一起使用的方式對業(yè)務(wù)數(shù)據(jù)進(jìn)行編碼。

RAG創(chuàng)建了一組數(shù)據(jù)，可以搜索與用戶查詢相關(guān)的語義匹配，然后將這些匹配與LLM共享，以便包含在響應(yīng)中。隨著時(shí)間的推移，向量數(shù)據(jù)集可以添加新的或額外的數(shù)據(jù)，因此可以將相關(guān)和及時(shí)的數(shù)據(jù)包含在響應(yīng)中。

RAG面臨的挑戰(zhàn)

盡管RAG使組織能夠?qū)⒆约旱臄?shù)據(jù)與生成式人工智能服務(wù)結(jié)合使用，但它并不完美。在將RAG部署到生產(chǎn)環(huán)境中遇到的一個(gè)挑戰(zhàn)是，它無法處理包含相似或相同信息的大量文檔之間的搜索。當(dāng)這些文件被分塊并轉(zhuǎn)換成向量嵌入時(shí)，每個(gè)文件都有可供搜索的數(shù)據(jù)。當(dāng)這些文件中的每一個(gè)都有非常相似的塊時(shí)，找到與該請求匹配的正確數(shù)據(jù)會變得更加困難。當(dāng)查詢的答案存在于多個(gè)相互交叉引用的文檔中時(shí)，RAG也會遇到困難。而RAG不知道這些文檔之間的關(guān)系。

例如，假設(shè)組織已經(jīng)開發(fā)了一款聊天機(jī)器人服務(wù)，它可以調(diào)用其產(chǎn)品數(shù)據(jù)來回答客戶的查詢。組織已經(jīng)將小部件目錄轉(zhuǎn)換為向量數(shù)據(jù)，但是這些小部件都非常相似。當(dāng)客戶查詢聊天機(jī)器人時(shí)，即使有RAG，如何確保提供的響應(yīng)是準(zhǔn)確的？如果這些目錄包含指向其他具有額外場景的文檔的鏈接怎么辦？提出不準(zhǔn)確的建議或提供不準(zhǔn)確的查詢將影響客戶互動。

回答這個(gè)問題是考慮采用一種不同的知識管理方法，為RAG所擅長的工作提供補(bǔ)充。微軟研究院在今年早些時(shí)候發(fā)布了一份關(guān)于將知識圖譜和RAG結(jié)合使用的研究報(bào)告，其中包括一種名為GraphRAG的技術(shù)。

知識圖譜將數(shù)據(jù)點(diǎn)表示為“節(jié)點(diǎn)”和“邊”，而不是將數(shù)據(jù)存儲在傳統(tǒng)搜索的行和列中，也不是作為向量搜索的嵌入。節(jié)點(diǎn)將是一個(gè)獨(dú)特的事實(shí)或特征，并且邊將連接與該事實(shí)有相關(guān)關(guān)系的所有節(jié)點(diǎn)。在產(chǎn)品目錄的示例中，節(jié)點(diǎn)可能是單個(gè)產(chǎn)品，而邊將是每個(gè)產(chǎn)品所具有的相似特征，例如尺寸或顏色。

向知識圖譜發(fā)送查詢涉及查找與該搜索相關(guān)的所有實(shí)體，然后創(chuàng)建一個(gè)知識子圖，將這些實(shí)體匯集在一起。這樣可以檢索出與查詢相關(guān)的信息，然后將其返回給LLM并用于構(gòu)建響應(yīng)。這意味著可以處理具有多個(gè)相似數(shù)據(jù)源的問題。與其將每個(gè)源視為不同的源并多次檢索相同的數(shù)據(jù)，不如只檢索一次數(shù)據(jù)。

在RAG中使用知識圖譜

要在RAG應(yīng)用程序中使用知識圖譜，組織可以使用現(xiàn)有的、經(jīng)過測試且已知事先正確數(shù)據(jù)的知識圖譜，也可以創(chuàng)建自己的知識圖譜。當(dāng)組織使用自己的數(shù)據(jù)（例如產(chǎn)品目錄）時(shí)，需要整理數(shù)據(jù)并檢查其準(zhǔn)確性。

組織可以使用自己的生成式人工智能方法來幫助實(shí)現(xiàn)這一目標(biāo)。LLM的構(gòu)建是為了從內(nèi)容中提取信息，并在需要時(shí)對數(shù)據(jù)進(jìn)行匯總。對于知識圖譜，可以自動地以正確的格式構(gòu)建數(shù)據(jù)，并且隨著時(shí)間的推移添加更多的數(shù)據(jù)，支持對知識圖譜的任何更新或更改。流行的LangChain服務(wù)上有多個(gè)工具可以查詢文件，然后提供知識圖譜，包括LLM Graph Transformer和Diffbot，而知識提取工具REBEL是另一種選擇。

對于專用的圖分析項(xiàng)目，可能需要采用一個(gè)完整的圖數(shù)據(jù)庫，該數(shù)據(jù)庫可以使用Gremlin和Cipher等圖形語言運(yùn)行完整的查詢。然而，為了支持作為RAG應(yīng)用程序一部分的知識圖譜請求，只需要運(yùn)行同時(shí)覆蓋兩三個(gè)節(jié)點(diǎn)的小搜索。這意味著請求通常會表示為幾輪簡單的查詢（每步一個(gè)）或SQL連接的形式。在更大的數(shù)據(jù)集中進(jìn)行搜索不太可能返回正確的響應(yīng)——事實(shí)上，這可能會導(dǎo)致查詢失控，這些查詢處理時(shí)間過長或?qū)嶋H上無法改善整體響應(yīng)。

因此，可以使用現(xiàn)有的數(shù)據(jù)庫來存儲知識圖譜數(shù)據(jù)，而不是部署額外的圖數(shù)據(jù)庫。這也簡化了數(shù)據(jù)運(yùn)營方面的工作，因?yàn)榭梢詼p少隨時(shí)間推移而需要更新新數(shù)據(jù)的數(shù)據(jù)平臺數(shù)量。

將知識圖譜與RAG相結(jié)合可以提高生成式人工智能應(yīng)用程序在響應(yīng)用戶查詢時(shí)的準(zhǔn)確性。通過將不同的數(shù)據(jù)管理技術(shù)相結(jié)合，可以在數(shù)據(jù)性能和請求中的語義理解方面獲得兩全其美的效果。

原文標(biāo)題：??Overcoming AI hallucinations with RAG and knowledge graphs??，作者：Dom Couldwell