大模型與知識圖譜結合的幾種方式 原創
大模型自從去年底爆火出圈以后，很多人把大模型和知識圖譜進行比較，甚至大量業內人士認為在大模型的發展下，知識圖譜已經沒有存在的必要了。那么真實情況，或者未來更有可能的一種情況是什么樣的呢？
相信經過一段時間的使用后，大家會發現大模型確實功能非常強大，能夠在諸多方面相比之前的方式，有了大幅的效率提升，但其仍然存在固有的問題難以解決，尤其是模型的幻覺在面臨事實準確性問題時，始終無法給出完美的正確答案。這就是人們在問答大模型精準知識的時候，總感覺不那么靠譜，雖然90%以上的回答都是準確的，但因為一小部分的不準確，就會造成人們感知上的不靠譜。
而眾所周知，知識圖譜的特點是精準，在面對具體的知識問答時，能夠給出非常準確的答案。但，知識圖譜有個致命的缺陷，那就是構建知識圖譜的復雜度非常高，要構建一個大規模的知識圖譜，需要耗費大量的人力物力，成本非常高。
因此，是否存在一種可能，將兩者進行結合，既可以解決大模型的知識幻覺問題，又可以解決知識圖譜的構建復雜度問題呢？
事實上，這方面的研究在學術和工業界其實已經進行了諸多的工作。本文的目的是綜述下兩者結合的方式和方法，為未來的工作形成一些指引。
大模型與知識圖譜優缺點
如上圖所示，知識圖譜的結構化知識、準確性、確定性、可解釋性、領域專業知識、推理知識對于大模型的隱式知識、幻覺、不確定、黑河、缺乏領域和新知識，都會形成很好的補充。而大模型的通用知識、自然語言處理、泛化性對于知識圖譜的不完整、缺乏語言理解、未知事實缺乏等又會所有幫助。
大模型與知識圖譜結合的幾種方式
通常而言，LLM與KG的結合有三種方式：
1.KG增強的LLM：也即將KG應用到LLM中，提升LLM的能力
2.LLM增強的KG：也即用LLM來賦能KG相關的各種任務，包括構建任務和應用任務
3.LLM與KG協同作用：兩者相互協同進行應用
具體到每一種增強，又可以細分為如下的情況：
用KG增強LLM
用KG去增強LLM，一般有三種作用的方式，在預訓練階段、推理階段和可解釋性。
具體到預訓練階段，比較典型的方法又分為三種：將知識圖譜整合進訓練目標、將知識圖譜整合進大模型的輸入、將知識圖譜整合進附加的融合模塊，如下面三個圖的結構分別表示：
因為預訓練的頻率很低，很多新知識無法訓練到模型里，因此在推理階段，也可以用知識圖譜來增強。在推理階段，增強LLM的方式又有兩種：
其中，第一種是將LLM和知識圖譜進行動態融合，第二種則是比較常見的通過檢索外部知識來增強LLM。
在提高LLM的解釋性方面，可以發揮知識圖譜結構化知識可以為推理結果提供優良可解釋性的優勢。這方面相關的研究集中在兩個方面：用于語言模型探測的知識圖譜，以及用于語言模型分析的知識圖譜。
用LLM來增強知識圖譜
下表詳細羅列了用LLM來增強KG的方法：
用LLM來增強KG Embedding（KGE），傳統的KGE是將每個實體和關系映射到低維的向量空間，這些嵌入包含了知識圖譜語義和結構信息，可以用于問答、推理和推薦等任務。傳統的做法，依靠知識圖譜的結構信息來優化一個評分函數。但這種方法優于結構連接性限制，難以表示未曾見過的實體和長尾的關系。
使用LLM來編碼和實體和關系的文本描述，可以豐富知識圖譜的表征。以下為兩種方式：將LLM用作KGE的文本編碼器；聯合文本與KGE的LLM。
用LLM來對KG進行補全的任務主要是推斷給定知識圖譜中缺失的事實。傳統的做法關注的是KG的結構，但不會考慮廣泛的文本信息。將LLM用于KGC的實現分為兩類：將LLM作為編碼器（PaE）和將LLM用作生成器（PaG）。
知識圖譜的構建一般涉及到特定領域內知識結構化的過程，這里面包含實體發現以及實體間關系的發現。通過包含實體發現、共指消歧和關系提取等階段。將LLM用于知識圖譜構建各個階段的框架如下：
還有直接用LLM進行知識蒸餾的方法：
KG-to-Text的目標是生成能準確描述知識圖譜知識的文本，用于連接知識圖譜和文本。但是收集大量知識圖譜-文本平行數據難度很大，導致訓練不充分，從而生成質量差。用LLM增強KG到文本的過程如下：
基于知識圖譜的問答（KGQA）目標是根據知識圖譜存儲的結構化知識來尋找問題的答案。這里面的核心挑戰是將檢索的KG知識的推理優勢擴展到問答任務上。用LLM來增強KGQA的方式包括：
LLM與KG的協同
將LLM和KG的優點融合，更好應對下游任務。將LLM和知識圖譜聯合起來可以形成知識表征和推理的強大模型。
總計一下，知識圖譜的應用場景可簡要概括為以下方向：
- 搜索引擎：增強搜索結果（如Google知識面板），直接展示實體關聯信息。
- 智能問答：支持語音助手（如Siri）、客服機器人精準回答事實類問題。
- 推薦系統：電商、視頻平臺基于實體關系推薦商品或內容（如電影關聯導演/演員）。
- 金融風控：分析企業股權、擔保網絡，識別欺詐或信貸風險。
- 醫療健康：輔助診斷（關聯癥狀/疾病/藥物）、藥物研發（挖掘靶點關系）。
- 企業智能：構建客戶/供應鏈知識庫，優化決策或文檔管理。
- 工業物聯網：關聯設備數據，實現故障預測或生產優化。
- 公共安全：分析犯罪團伙關系網絡，追蹤資金或人員關聯。
- 教育：個性化學習推薦，構建學科知識點圖譜。
- 科研：挖掘學術文獻中的實體關系，加速學科交叉發現。
核心價值：將分散數據轉化為可推理的網絡結構，支撐語義理解與智能決策。
本文轉載自???數字化助推器??? 作者：天涯咫尺TGH
