「大模型」之所短，「知識(shí)圖譜」之所長
最近一年以來，大語言模型技術(shù)突飛猛進(jìn)，被廣泛地認(rèn)為開啟了人工智能研究的新階段。大語言模型時(shí)代的到來，給知識(shí)圖譜技術(shù)也帶來了新的機(jī)遇與挑戰(zhàn)。我們在 5 月份的時(shí)候曾經(jīng)發(fā)布過知識(shí)圖譜與 AIGC 大模型的知識(shí)地圖，其中包括了文本生成、圖像生成等技術(shù)。本次分享將聚焦于大語言模型最新的研究進(jìn)展，從大模型對知識(shí)工程的幫助、知識(shí)圖譜幫助大模型的評測和應(yīng)用，以及未來知識(shí)圖譜與大模型交互融合的展望等幾個(gè)方面進(jìn)行介紹。
一、大語言模型與知識(shí)圖譜的對比
首先來對比一下大語言模型和知識(shí)圖譜的優(yōu)勢與劣勢。
去年 ChatGPT 問世的初期，還曾有聲音說知識(shí)圖譜已經(jīng)過時(shí)了，將被大模型所替代。然而，隨著這一年來的深入探討和研究，目前業(yè)界普遍認(rèn)為，大語言模型和知識(shí)圖譜各有所長，能夠互相補(bǔ)充[1,2]。
具體而言，基于深度神經(jīng)網(wǎng)絡(luò)技術(shù)的大語言模型是連接主義的最新里程碑，其優(yōu)勢在于對自然語言的理解和生成能力極強(qiáng)，適用范圍廣泛。而缺點(diǎn)則是其中的知識(shí)是參數(shù)化的隱式知識(shí)，存在事實(shí)的編造，缺乏可解釋性等問題。也就是我們常說的大模型生成內(nèi)容存在幻覺的現(xiàn)象。
知識(shí)圖譜是符號(hào)主義的集大成者，過去十幾年來受到了廣泛的研究與應(yīng)用。它的優(yōu)點(diǎn)是知識(shí)結(jié)構(gòu)化、顯式化，可解釋性非常強(qiáng)，特別是在某些特定領(lǐng)域，知識(shí)質(zhì)量極高。當(dāng)然，缺點(diǎn)也很明顯，那就是構(gòu)建成本太高，往往不完全正確，在自然語言處理方面相對較差。
那么二者應(yīng)該如何相結(jié)合進(jìn)行優(yōu)勢互補(bǔ)呢？接下來將從不同角度來分析二者的相互作用。
二、大語言模型助力知識(shí)抽取
首先，大模型強(qiáng)大的語言理解能力可以助力知識(shí)抽取任務(wù)。
典型的例子像復(fù)旦大學(xué)的 InstructUIE[3]和浙江大學(xué)的 KnowLM[4]。用特定指令，調(diào)動(dòng)大模型從給定資源里提取出有用的知識(shí)，完成各種各樣的任務(wù)，比如實(shí)體提取、關(guān)系抽取、事件抽取等。當(dāng)然，也可以針對這些指令做專門的 SFT（深度特征提取）微調(diào)，這樣可以增強(qiáng)優(yōu)化效果。換句話說，只要通過這些指令，就能在給定內(nèi)容里輕松完成實(shí)體、關(guān)系等各種提取任務(wù)。
三、大語言模型助力知識(shí)補(bǔ)全
還有一些工作是通過特定的指令，將大型模型中的參數(shù)化知識(shí)提煉出來，從而構(gòu)建成結(jié)構(gòu)化的知識(shí)，以便于對知識(shí)圖譜進(jìn)行補(bǔ)全[5]。
由于大型模型在訓(xùn)練過程中已經(jīng)接觸了大量的文本數(shù)據(jù)，其中蘊(yùn)含著豐富的客觀知識(shí)，因此如果能夠精確地萃取出來，將會(huì)極大提升知識(shí)圖譜中的完備性。然而，鑒于當(dāng)前大型模型生成的內(nèi)容可能會(huì)出現(xiàn)幻覺問題，因此當(dāng)前方法需要采用特定的調(diào)優(yōu)訓(xùn)練進(jìn)行約束才能實(shí)現(xiàn)，而這一領(lǐng)域尚有相當(dāng)巨大的研究空間。
四、知識(shí)圖譜助力大語言模型能力評測
反過來知識(shí)圖譜也可以幫助到大模型。
1. 評測集
知識(shí)圖譜對大模型的評測具有顯著的助力，從掌握和利用世界知識(shí)的角度對大模型的能力進(jìn)行全面的評測，典型的代表是清華大學(xué)提出的 KoLA 評測集[6]，該評測集針對知識(shí)認(rèn)知的四個(gè)層次，即知識(shí)記憶、知識(shí)理解、知識(shí)應(yīng)用和知識(shí)創(chuàng)新，對大模型進(jìn)行全面測試。
2. 評測結(jié)論
從目前的測試結(jié)果來看，有幾點(diǎn)頗具趣味性的結(jié)論值得關(guān)注。首先，大模型在知識(shí)記憶、理解、應(yīng)用和創(chuàng)新等任務(wù)中普遍存在較大的局限性。其次，對于未經(jīng)指令微調(diào)且與人無關(guān)的模型來說，其在知識(shí)記憶方面的能力與模型規(guī)模呈正相關(guān)關(guān)系，也即是模型的參數(shù)越多，則其知識(shí)記憶能力越強(qiáng)。然而，經(jīng)過指令微調(diào)與人類對齊后，其高階能力，如知識(shí)的應(yīng)用和創(chuàng)新等能力與模型呈正向相關(guān)，但低級能力，例如記憶、理解等能力，則與其呈負(fù)相關(guān)關(guān)系，這便是所謂的“對齊稅”，這一發(fā)現(xiàn)極為重要[6]。
五、知識(shí)圖譜助力大語言模型落地應(yīng)用
1. 知識(shí)圖譜作為外接工具或插件提高大模型生成內(nèi)容的知識(shí)準(zhǔn)確性和可解釋性
知識(shí)圖譜輔助大語言模型的另一個(gè)方面是可以幫助大模型的落地應(yīng)用。大模型的幻覺問題是阻礙落地應(yīng)用的重要因素之一。大家正在考慮采用開啟增強(qiáng)模式[7]以引導(dǎo)并制約大模型所產(chǎn)出的內(nèi)容。這意味著設(shè)定與用戶問題相關(guān)的一些內(nèi)容輸入為大模型參考信息，用以緩解一本正經(jīng)胡說八道現(xiàn)象的情況，從而提升知識(shí)的精確性與可解釋性。
知識(shí)圖譜作為高質(zhì)量的知識(shí)來源，為開啟增強(qiáng)模式奠定了基礎(chǔ)。相對于 Web 搜索來說，知識(shí)圖譜所承載的信息可信度更高，且知識(shí)更新過程中更易于發(fā)現(xiàn)錯(cuò)誤，極易進(jìn)行精準(zhǔn)修正。然而，知識(shí)圖譜也存在一定局限性，例如其覆蓋范圍相對較窄，尤其針對一些長尾知識(shí)、復(fù)雜知識(shí)則更易產(chǎn)生遺漏。因此知識(shí)圖譜與 Web 搜索相結(jié)合，是知識(shí)檢索增強(qiáng)的良策。
事實(shí)上，Google 提出知識(shí)圖譜的初衷便是為了提升其搜索引擎的性能。
2. 知識(shí)圖譜可以提升大模型生成內(nèi)容的安全性和一致性
知識(shí)圖譜還有助于提高大模型生成內(nèi)容的安全性和一致性。
例如，哈爾濱工業(yè)大學(xué)就提出了兩種方案，第一種是運(yùn)用知識(shí)圖譜作為后驗(yàn)工具，對輸出內(nèi)容進(jìn)行核實(shí)，從而增強(qiáng)其一致性。例如，在左邊的例子中，“亞里士多德使用筆記本電腦嗎？”，ChatGPT 有可能生成出與此相關(guān)的內(nèi)容，如第一條內(nèi)容為“亞里士多德死于 2000 年”，但這個(gè)知識(shí)卻與知識(shí)圖譜中的亞里士多德的生卒年代相悖，于是便產(chǎn)生了沖突，通過這樣的驗(yàn)證，能夠發(fā)現(xiàn)一些錯(cuò)誤的知識(shí)，進(jìn)而篩選出更符合客觀事實(shí)的回答進(jìn)行輸出。
其次，知識(shí)圖譜能協(xié)助大模型辨識(shí)不安全問題，同時(shí)增強(qiáng)應(yīng)對不安全場景的能力。在右邊的例子中，用戶可能會(huì)提問到一些涉及違法違規(guī)行為的問題。大模型可以利用知識(shí)圖譜甄別其中的敏感知識(shí)以及相關(guān)內(nèi)容，進(jìn)而生成更為可靠的答復(fù)。
3. 知識(shí)圖譜可以提升大模型的復(fù)雜推理能力
知識(shí)圖譜亦能提升大規(guī)模模型的復(fù)雜推理能力。
當(dāng)面對復(fù)雜問題時(shí)，大模型無法直接從檢索增強(qiáng)中獲取答案，而需通過多跳的關(guān)系集合操作屬性的比對等環(huán)節(jié)來尋找問題答案，此時(shí)便需要進(jìn)行精準(zhǔn)的推理。
清華大學(xué)研發(fā)了一款專為知識(shí)推理問答而設(shè)的編程語言——KoPL[8]，該語言能夠?qū)⒆匀徽Z言轉(zhuǎn)化為基本函數(shù)的組合，從而針對復(fù)雜問題進(jìn)行推理和解答。例如，觀察右側(cè)例子，問：勒伯納·詹姆斯和他的父親誰的身高更高？這個(gè)問題便會(huì)被分解為一些基礎(chǔ)函數(shù)，如查找勒布朗·詹姆斯的身高、查詢其父親信息，然后找到他父親的身高，最后進(jìn)行身高的對比，從而得出答案。此過程體現(xiàn)出精準(zhǔn)且嚴(yán)謹(jǐn)?shù)耐评憝h(huán)節(jié)。值得一提的是，清華大學(xué)這套編程語言具有明顯、透明及模塊化的特性，利于推理過程的展示與理解，對于人機(jī)交互十分有利，有助于提高大規(guī)模模型回答問題的可解釋性。此外，這款軟件還能處理不同知識(shí)庫文本的各類格式，具有較強(qiáng)的可擴(kuò)展性。
六、知識(shí)圖譜交互融合
最后，分享基于當(dāng)前的研究成果對未來知識(shí)圖譜與大型模型交互融合的展望，由天津大學(xué)的王鑫老師提出[1]。
知識(shí)圖譜中有明確的知識(shí)結(jié)構(gòu)，而大模型可以提供強(qiáng)大的文本理解和生成能力，那么通過多輪迭代的方式，可以將大模型與知識(shí)圖譜協(xié)同驅(qū)動(dòng)，以獲得更加深入的語義理解以及更加豐富的知識(shí)表示和更加強(qiáng)大的推理能力。
七、結(jié)束語
知識(shí)圖譜與大模型相協(xié)同的模式有望成為支持神經(jīng)和符號(hào)人工智能的重要突破點(diǎn)，能夠開辟通往通用人工智能的全新途徑，也將成為人工智能在各領(lǐng)域應(yīng)用的新型模式。
這些領(lǐng)域尚有大量工作亟待完成，對于知識(shí)圖譜領(lǐng)域的從業(yè)者來說，應(yīng)當(dāng)積極面對并迎接大模型技術(shù)帶來的變革。一方面，我們應(yīng)充分利用大規(guī)模模型的潛力，提升知識(shí)工程的效率和效果；另一方面，也應(yīng)當(dāng)借用知識(shí)圖譜來提升大規(guī)模模型生成內(nèi)容的精確性、安全性以及可解釋性，從而進(jìn)行更深度的探索。這種將兩者深入融合的能力將引領(lǐng)這個(gè)領(lǐng)域走上更高的發(fā)展道路，其中蘊(yùn)含著諸多引人入勝的科研機(jī)會(huì)。
以上就是本次分享的內(nèi)容，謝謝大家。
八、參考文獻(xiàn)
[1] 王鑫，陳子睿，王昊奮. 知識(shí)圖譜與大語言模型協(xié)同模式探究[J/OL]. 中國計(jì)算機(jī)學(xué)會(huì)通訊, 2023, 11(01): 2377. DOI:10.3778/j.issn.1673-9418.2308070.
[2] PAN S, LUO L, WANG Y, 等. Unifying Large Language Models and Knowledge Graphs: A Roadmap[J/OL]. IEEE Transactions on Knowledge and Data Engineering, 2024: 1-20. DOI:10.1109/TKDE.2024.3352100.
[3] WANG X, ZHOU W, ZU C, 等. InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction[M/OL]. arXiv, 2023[2024-03-08]. http://arxiv.org/abs/2304.08085. DOI:10.48550/arXiv.2304.08085.
[4] zjunlp/KnowLM[CP/OL]. ZJUNLP, 2024[2024-03-08]. https://github.com/zjunlp/KnowLM.
[5] XIE X, ZHANG N, LI Z, 等. From Discrimination to Generation: Knowledge Graph Completion with Generative Transformer[C/OL]//Companion Proceedings of the Web Conference 2022. 2022: 162-165[2024-03-08]. http://arxiv.org/abs/2202.02113. DOI:10.1145/3487553.3524238.
[6] YU J, WANG X, TU S, 等. KoLA: Carefully Benchmarking World Knowledge of Large Language Models[M/OL]. arXiv, 2023[2024-03-08]. http://arxiv.org/abs/2306.09296. DOI:10.48550/arXiv.2306.09296.
[7] SHI W, MIN S, YASUNAGA M, 等. REPLUG: Retrieval-Augmented Black-Box Language Models[M/OL]. arXiv, 2023[2024-03-08]. http://arxiv.org/abs/2301.12652. DOI:10.48550/arXiv.2301.12652.
[8] CAO S, SHI J, PAN L, 等. KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base[M/OL]. arXiv, 2022[2024-03-08]. http://arxiv.org/abs/2007.03875. DOI:10.48550/arXiv.2007.03875.
