圖片

1. 背景

關(guān)系抽取（Relation Extraction，RE）是指將非結(jié)構(gòu)化文本轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)（關(guān)系三元組），在知識圖譜構(gòu)建等領(lǐng)域扮演了重要角色。

但是關(guān)系抽取往往因?yàn)?strong>關(guān)系類型的多樣性和句子中實(shí)體關(guān)系的模糊性等問題，導(dǎo)致難以實(shí)現(xiàn)高效的RE。

這兩年，大語言模型憑借其在自然語言理解和生成方面的強(qiáng)大能力，開始在關(guān)系抽取方面得到廣泛應(yīng)用。盡管取得一定進(jìn)展，但往往局限于監(jiān)督式微調(diào)或少量樣本問答（QA）基礎(chǔ)抽取，較少在復(fù)雜關(guān)系抽取場景下得到應(yīng)用。

將LLMs應(yīng)用于復(fù)雜場景下的RE任務(wù)，往往存在以下問題：

? 1.如何充分利用LLMs的能力，更好地挖掘與RE相關(guān)的各種重要信息？存在多種信息，如標(biāo)記樣本、相關(guān)文章和知識圖譜中的知識，這些都可以被RE模型用來提升性能。但LLMs的有限上下文窗口限制了對這些信息的全面利用。

? 2.如何在特定或資源匱乏的領(lǐng)域有效實(shí)現(xiàn)RE？許多特定領(lǐng)域數(shù)據(jù)稀缺，使得傳統(tǒng)監(jiān)督模型難以達(dá)到理想性能。

? 3.如何以合理的成本實(shí)現(xiàn)有效的RE？雖然LLMs性能卓越，但在實(shí)際應(yīng)用中，較小的模型因其較低的計(jì)算資源消耗而更具吸引力。因此，利用大型模型的知識來微調(diào)小型模型是一個(gè)可行的策略。

基于智能體的框架能夠賦予LLMs更多能力，如記憶、反思和與外部環(huán)境交互，從而促進(jìn)復(fù)雜RE任務(wù)的完成。受此啟發(fā)，作者提出了一種創(chuàng)新的基于智能體的RE框架——AgentRE，用于應(yīng)對以上關(guān)系抽取中面臨的問題。

2. 什么是AgentRE?

圖片

上圖 (a)展示了“文本輸入，文本輸出（text-in, text-out）”模式下語言模型的RE流程，該模型直接從輸入文本或通過簡單的提示方法產(chǎn)生帶有錯誤的結(jié)果。

圖(b)則展示了AgentRE的RE流程，這是一個(gè)包含檢索和記憶模塊的智能體框架，在多次推理回合中利用各種信息，以實(shí)現(xiàn)更精確的RE。

首先，AgentRE將大型語言模型（LLM）作為智能體，處理來自不同渠道的數(shù)據(jù)。借助檢索和記憶模塊等工具，輔助智能體進(jìn)行推理。與傳統(tǒng)的單輪“文本輸入，文本輸出”語言模型不同，AgentRE通過多輪交互和推理，拓寬了信息源的利用范圍，克服了單輪提取的局限。

其次，在資源有限的情況下，AgentRE能夠借助LLM的推理和記憶能力，在提取過程中進(jìn)行動態(tài)總結(jié)和反思，從而精進(jìn)其持續(xù)學(xué)習(xí)能力，通過不斷積累經(jīng)驗(yàn)與知識，提升提取效能。

最后，將AgentRE的推理路徑轉(zhuǎn)化為包含多種推理策略的高質(zhì)量數(shù)據(jù)，如直接生成、分步提取和基于思維鏈的提取。這些豐富的數(shù)據(jù)可用于微調(diào)小型模型，引導(dǎo)它們靈活選擇不同的提取策略，從而在成本可控的前提下，提升模型的提取表現(xiàn)。

圖片

圖(a)AgentRE的整體架構(gòu)，其中LLM扮演智能體的角色，通過與檢索、記憶和提取模塊的協(xié)同工作，從輸入文本中提煉出關(guān)系三元組。

圖(b)至(d)分別展示了檢索、記憶和提取模塊的內(nèi)部結(jié)構(gòu)。

?檢索模塊（Retrieval Module）：負(fù)責(zé)維護(hù)靜態(tài)知識庫，便于存儲和檢索信息，這包括訓(xùn)練集中的標(biāo)注樣本以及相關(guān)的標(biāo)注指南等資料。

?記憶模塊（Memory Module）：負(fù)責(zé)維護(hù)動態(tài)知識庫，用于記錄當(dāng)前提取結(jié)果的短期記憶，以及用于總結(jié)和反思?xì)v史操作的長期記憶。通過在記憶模塊中進(jìn)行讀寫操作，記錄并利用以往的提取經(jīng)驗(yàn)。

?提取模塊（Extraction Module）：利用檢索和記憶模塊提供的信息，通過多種推理方法從輸入文本中抽取結(jié)構(gòu)化信息（關(guān)系三元組）。

2.1 檢索模塊

檢索模塊負(fù)責(zé)從現(xiàn)有數(shù)據(jù)集中提取相關(guān)樣本，并搜集補(bǔ)充知識，輔助提取模塊完成關(guān)系提取（RE）任務(wù)。可檢索的數(shù)據(jù)范圍廣泛且類型繁多，主要分為兩大類。

? 標(biāo)注數(shù)據(jù)：帶有明確輸入輸出關(guān)系的標(biāo)注數(shù)據(jù)，這些數(shù)據(jù)可以作為少量樣本整合進(jìn)LLM的上下文中，幫助模型把握當(dāng)前任務(wù)的輸入輸出關(guān)系。

? 相關(guān)資訊：包括關(guān)系定義、標(biāo)注準(zhǔn)則，乃至百科全書中的外部知識。這些信息作為輔助資訊注入LLM的上下文，能夠輔助模型更好地理解提取任務(wù)。

為了高效地管理和運(yùn)用這兩類數(shù)據(jù)，設(shè)計(jì)了兩種特定的檢索模塊：

? 樣本檢索模塊

? 相關(guān)信息檢索模塊。

一旦獲取了富有信息量的標(biāo)記數(shù)據(jù)和其它相關(guān)信息，檢索模塊就可以利用這些數(shù)據(jù)：

圖片

? 一種直接的方法是將它們合并為提示，以此整合有益信息。這些提示詞模板如上圖所示。提示詞分為不同顏色標(biāo)記的多個(gè)部分，每個(gè)部分都有清晰的標(biāo)簽，引導(dǎo)模型處理輸入文本并生成適當(dāng)?shù)妮敵觥＃?/p>

? 紫色部分用于任務(wù)描述和輸入句子

? 藍(lán)色部分用于示例和可能的關(guān)系類型

? 青綠色部分用于相關(guān)信息

? 黑色部分用于輸出。

• ? 提取模塊可能會采用除直接提示之外的各種推理方法。

2.1.1 樣本檢索

如圖(b)下部展示，樣本檢索模塊利用編碼器將當(dāng)前文本轉(zhuǎn)化為嵌入向量。計(jì)算訓(xùn)練數(shù)據(jù)集中樣本與當(dāng)前文本的相似性，以檢索與當(dāng)前文本相似的樣本。

例如，對于句子“5月9日，諾貝爾文學(xué)獎得主、作家莫言在北京發(fā)表了演講。”，樣本檢索模塊可以從訓(xùn)練數(shù)據(jù)集中檢索出相關(guān)樣本，如文本“When the newly minted Nobel Prize in Literature, British novelist Kazuo Ishiguro, found himself…”及其對應(yīng)的關(guān)系三元組標(biāo)簽(Kazuo Ishiguro, 獲獎, Nobel Prize in Literature)。

提取過程可能被分解為兩個(gè)階段：

? 首先是識別句子中潛在的關(guān)系類型

? 然后基于這些識別出的候選關(guān)系類型進(jìn)行提取

檢索候選關(guān)系類型的過程在圖(b)中以虛線箭頭表示。實(shí)現(xiàn)這種檢索的一種有效方法是開發(fā)一個(gè)在數(shù)據(jù)集上訓(xùn)練的分類器，預(yù)測給定文本中最可能出現(xiàn)的關(guān)系。此外，利用LLMs的推理能力也可以實(shí)現(xiàn)檢索關(guān)系類型的任務(wù)。

2.1.2 相關(guān)信息檢索

如圖(b)的上部展示，相關(guān)信息檢索模塊的目的是檢索與特定句子相關(guān)的知識點(diǎn)。相較于樣本檢索使用的嵌入檢索技術(shù)，本模塊運(yùn)用了多元化的檢索手段，融合向量與實(shí)體，實(shí)現(xiàn)精確匹配與模糊語義匹配的有機(jī)結(jié)合。

以句子“5月9日，諾貝爾文學(xué)獎得主、作家莫言在北京發(fā)表了演講。”為例，本模塊不僅提取句子的語義信息，還識別出其中的潛在實(shí)體，如莫言、諾貝爾獎和北京，并利用這些實(shí)體檢索相關(guān)背景知識。

此外，以諾貝爾獎為起點(diǎn)，還能從標(biāo)注指南中檢索到關(guān)于獎項(xiàng)關(guān)系類型的詳細(xì)描述，包括關(guān)系兩端實(shí)體的定義和深入闡釋。

相關(guān)信息檢索模塊涵蓋提取關(guān)鍵信息或生成嵌入向量的預(yù)處理環(huán)節(jié)，以及多個(gè)用于檢索輸入文本相關(guān)資訊的檢索器。在預(yù)處理階段，除了文本編碼器，還包含一個(gè)實(shí)體識別器，用于識別輸入文本中的所有潛在實(shí)體。

采用多種策略從不同數(shù)據(jù)源中檢索相關(guān)知識，比如從知識圖譜中檢索實(shí)體的屬性和關(guān)系，從標(biāo)注指南中檢索關(guān)系類型的解釋性信息，或是從外部百科全書中檢索相關(guān)背景知識。

2.2 記憶模塊

記憶模塊負(fù)責(zé)在提取過程中動態(tài)地利用現(xiàn)有知識，并進(jìn)行反思和總結(jié)，更好地完成后續(xù)的提取任務(wù)。

仿照人腦的記憶機(jī)制，模型的記憶被劃分為短期記憶和長期記憶。

2.2.1 短期記憶

短期記憶記錄了初步的提取經(jīng)驗(yàn)。

如圖(c)所示，對于句子“博物館位于莫言的故鄉(xiāng)，高密東北鄉(xiāng)。”，模型提取的結(jié)果是(莫言, 出生地, 高密東北鄉(xiāng))和(博物館, 位于, 高密東北鄉(xiāng))。其中第一個(gè)關(guān)系三元組是正確的，但第二個(gè)由于博物館的指代不明確而被標(biāo)記為錯誤。短期記憶中，通過記錄這些正確與錯誤的結(jié)果，模型便能在后續(xù)的提取中將它們作為參考。這個(gè)過程相當(dāng)于從過往經(jīng)驗(yàn)中汲取教訓(xùn)。具體來說，模型會分別在正確記憶和錯誤記憶中添加新的條目。

2.2.2 長期記憶

長期記憶涵蓋了對過往記憶的深入反思與更新，如圖(c)所示。

在長期記憶中，AgentRE能夠基于準(zhǔn)確的成果對長期記憶進(jìn)行刷新，并針對不準(zhǔn)確的結(jié)果進(jìn)行深思熟慮。

以圖(c)的示例為鑒，得到正確的提取成果后，AgentRE便將其關(guān)于莫言的記憶從“莫言，著名作家，1955年2月17日出生，本名管謨業(yè)”更新為“莫言，著名作家，1955年2月17日出生于高密東北鄉(xiāng)，本名管謨業(yè)”。對于錯誤的結(jié)果，AgentRE則進(jìn)行反思。比如，面對一個(gè)錯誤的提取成果和相關(guān)的標(biāo)注準(zhǔn)則，它會產(chǎn)生反思文本“根據(jù)標(biāo)注準(zhǔn)則，不完整的實(shí)體，如博物館，本不應(yīng)被提取”。因此，當(dāng)接收到下一個(gè)輸入文本“以最有影響力的當(dāng)代作家和學(xué)者王先生命名的博物館……”，AgentRE便能借助先前的反思避免重蹈覆轍。

2.3 提取模塊

AgentRE中提取模塊借鑒了 ReAct 的互動式方法，通過多輪的思考、行動、觀察來推進(jìn)，如圖(d)所描繪。

在此框架下，檢索與記憶模塊被視作智能體可調(diào)用的外部工具。智能體通過一系列API接口，輸入工具名稱和參數(shù)，隨后獲得反饋結(jié)果。這種設(shè)計(jì)賦予了智能體靈活調(diào)用工具、選擇工具種類及調(diào)用方式的能力。

以圖(d)中的句子為例：“5月9日，諾貝爾文學(xué)獎得主、作家莫言在北京發(fā)表了演講。”在首回合，智能體識別出可能的關(guān)系類型，隨后決定調(diào)用SearchAnnotation API來獲取相關(guān)資訊。進(jìn)入第二輪，智能體運(yùn)用SearchKG API檢索有關(guān)莫言的既有知識。最終，在搜集到充分的信息后，智能體執(zhí)行Finish操作，以產(chǎn)出提取成果。

在提取過程中，AgentRE并非總是遵循一連串完整的ReAct互動。會根據(jù)輸入文本的復(fù)雜度，靈活選擇最合適的提取策略。

比如，在直接提取中，預(yù)測的關(guān)系三元組直接從文本中導(dǎo)出；在分階段提取中，先篩選關(guān)系類型，再進(jìn)行三元組的提取；或者采用思維鏈（CoT）提取，最終結(jié)果通過逐步推導(dǎo)生成。

2.4 小模型的精煉

在真實(shí)場景中，部署具備強(qiáng)大推理能力的LLMs智能體以完成信息提取任務(wù)，往往需要高昂的成本。

而相對較小的大型語言模型（SLLMs）在推理能力上通常表現(xiàn)遜色。為了彌補(bǔ)這一鴻溝，作者提出了一種蒸餾學(xué)習(xí)的方法，通過利用大型模型的歷史推理路徑來引導(dǎo)小模型的學(xué)習(xí)。

對不同類型問題采用多樣化的推理策略，可以顯著增強(qiáng)模型解決問題的適應(yīng)性。例如：

? 在關(guān)系提取（RE）任務(wù)中，文本中明確表述的直接關(guān)系可以直接推斷并生成結(jié)構(gòu)化輸出。

? 對于那些包含更復(fù)雜關(guān)系的句子，采用基于思維鏈（CoT）的推理方法，可以引導(dǎo)模型逐步逼近最終結(jié)果，減少錯誤。

AgentRE推理框架通過智能體有效地為不同情境定制了多樣化的推理方法。為了賦予SLLMs相似的能力，并簡化推理過程，建議從AgentRE的歷史推理路徑中提煉出更簡潔的推理邏輯，用以指導(dǎo)小模型的學(xué)習(xí)。

3. 效果評估

3.1 測評數(shù)據(jù)集

為驗(yàn)證AgentRE的效能，在以下兩個(gè)數(shù)據(jù)集進(jìn)行測試：

? DuIE：作為規(guī)模最大的中文關(guān)系抽取數(shù)據(jù)集，囊括了48類預(yù)設(shè)關(guān)系類型。覆蓋了傳統(tǒng)簡單的關(guān)系類型，也涵蓋了涉及眾多實(shí)體的復(fù)雜關(guān)系類型。該數(shù)據(jù)集的標(biāo)注文本源自百度百科、百度信息流及百度貼吧，共包含210,000句樣本與450,000個(gè)關(guān)系實(shí)例。

? SciERC：專為科學(xué)領(lǐng)域設(shè)計(jì)的英文命名實(shí)體識別與關(guān)系抽取數(shù)據(jù)集。其標(biāo)注數(shù)據(jù)源自Semantic Scholar Corpus，覆蓋了500篇科學(xué)文章摘要。SciERC數(shù)據(jù)集共標(biāo)注了8,089個(gè)實(shí)體和4,716個(gè)關(guān)系，平均每篇文檔包含9.4個(gè)關(guān)系。

3.2 測試基準(zhǔn)方法

將AgentRE與數(shù)種基于LLM的信息抽取模型/框架進(jìn)行了對比：

? ChatIE：通過與ChatGPT的對話，提出了一種零次學(xué)習(xí)IE方法，將零次學(xué)習(xí)IE視為一種多輪問答過程。先識別潛在的關(guān)系類型，再基于這些類型抽取關(guān)系三元組。

? GPT-RE：在少量學(xué)習(xí)框架內(nèi)采用任務(wù)感知檢索模型，并整合CoT自動推理機(jī)制，以解決輸入-標(biāo)簽映射中的實(shí)例相關(guān)性和解釋問題。

? CodeKGC：運(yùn)用Python類來表達(dá)關(guān)系的框架模式，通過推理依據(jù)增強(qiáng)信息抽取的準(zhǔn)確性。

? CodeIE：將IE任務(wù)轉(zhuǎn)化為代碼形式，借助LLMs的代碼推理能力。

? UIE：引入了一種結(jié)構(gòu)化編碼語言，用于文本到結(jié)構(gòu)化輸出的生成，適用于T5模型的預(yù)訓(xùn)練。

? USM：一個(gè)集結(jié)構(gòu)化與概念能力于一體的統(tǒng)一語義匹配框架，專為信息抽取設(shè)計(jì)，基于RoBERTa構(gòu)建。

? InstructUIE：在Flan-T5上實(shí)施基于指令的微調(diào)，以提升任務(wù)的泛化能力。

ChatIE和CodeKGC運(yùn)用LLMs進(jìn)行零次學(xué)習(xí)，而CodeIE、CodeKGC和GPT-RE則采用少量學(xué)習(xí)策略。UIE、USM和InstructUIE則采用監(jiān)督微調(diào)（SFT）。GPT-RE還在特定任務(wù)上對如text-davinci-003這樣的大型模型進(jìn)行了微調(diào)，成本較高。

3.3 測評結(jié)果

圖片

實(shí)驗(yàn)結(jié)果如上圖，僅采用F1分?jǐn)?shù)作為評價(jià)標(biāo)準(zhǔn)。

對于比較基準(zhǔn)模型/框架，盡量引用原始發(fā)表數(shù)據(jù)，或通過復(fù)現(xiàn)其公布的模型與源代碼來獲取結(jié)果。

為了確保實(shí)驗(yàn)比較的公正性，主要采用同一基礎(chǔ)大型語言模型，如gpt-3.5-turbo。對于那些采用不同基礎(chǔ)模型的方法，在表格中以斜體字呈現(xiàn)了它們的原始成果，并補(bǔ)充了使用gpt-3.5-turbo作為基礎(chǔ)模型所得到的結(jié)果。

上表根據(jù)三種不同的實(shí)驗(yàn)范式劃分：

? 零樣本學(xué)習(xí)（ZFL）

? 少樣本學(xué)習(xí)（FSL）

? 有監(jiān)督的微調(diào)（SFT）

在SFT設(shè)置下，這些方法大致可分為三類，根據(jù)模型參數(shù)規(guī)模如下：

? 1）UIE使用的T5-v1.1-large和USM使用的RoBERTa-Large，參數(shù)規(guī)模分別為0.77B和0.35B。

? 2）InstructUIE使用的Flan-T5和AgentRE-SFT使用的Llama-2-7b，參數(shù)規(guī)模分別約為11B和7B。

? 3）GPT-RE-SFT使用的gpt-3.5-turbo，參數(shù)規(guī)模約為175B。

在ZSL組中，ChatIE-multi的表現(xiàn)超過了ChatIE-single，說明多輪對話的有效性。AgentRE-ZSL的卓越表現(xiàn)則反映了其在高效利用輔助信息方面的優(yōu)勢。

在FSL組中，CodeKGC-FSL超越了基于對話的ChatIE，而GPT-RE與其表現(xiàn)相匹配，突顯了結(jié)構(gòu)化推理和精確樣本檢索的優(yōu)勢。AgentRE-FSL顯著超越了當(dāng)前最佳模型，展示了其在利用標(biāo)記數(shù)據(jù)和輔助信息方面的卓優(yōu)勢。

在SFT設(shè)置下，對較小模型如UIE和USM進(jìn)行微調(diào)，雖然優(yōu)于基線模型，但仍不及AgentRE-FSL。AgentRE-SFT在InstructUIE上的表現(xiàn)顯著更佳，證明了AgentRE中蒸餾學(xué)習(xí)的有效性。然而，GPT-RE-SFT在SciERC上取得了最佳性能，盡管由于其龐大的模型規(guī)模和基于text-davinci-003的API訓(xùn)練帶來了更高的訓(xùn)練成本。

3.4 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)探究了AgentRE在不同配置下的表現(xiàn)：

? 缺少檢索模塊（AgentRE-w/oR）

? 缺少記憶模塊（AgentRE-w/oM）

? 兩者皆無（AgentRE-w/oRM）

圖片

依據(jù)上表，AgentRE-w/oRM的性能顯著不足，表明這兩個(gè)模塊的關(guān)鍵作用。

AgentRE-w/oR和AgentRE-w/oM相較于AgentRE-w/oRM展現(xiàn)出更好的效果，表明獨(dú)立引入記憶和檢索模塊的好處。

完整框架AgentRE整合了這兩個(gè)模塊，達(dá)到了最佳表現(xiàn)，證明結(jié)合檢索能力獲取相似樣本和利用記憶模塊優(yōu)化先前提取的協(xié)同效應(yīng)。

3.4.1 檢索模塊分析

影響檢索模塊效果的主要變量包括用于數(shù)據(jù)表示和檢索的模型，以及檢索過程中可用的內(nèi)容。

圖片

上表結(jié)果表明：無論是統(tǒng)計(jì)方法還是基于嵌入的方法，都顯著優(yōu)于隨機(jī)檢索。這表明，檢索與輸入文本更緊密相關(guān)的標(biāo)記樣本，對于輔助模型的決策過程、提高其抽取精度具有顯著效果。在評估的模型中，BGE在兩個(gè)數(shù)據(jù)集上均展現(xiàn)出最好的性能。

檢索內(nèi)容：在為檢索模塊選定了基礎(chǔ)模型之后，進(jìn)一步探討不同類型可用信息對檢索的影響。

圖片

上表列出了實(shí)驗(yàn)結(jié)果，其中“None”和“AgentRE-w/oM”分別代表沒有和僅有完整檢索模塊的變體。此外，“-samples”、“-doc”和“-KG”分別表示缺少標(biāo)記樣本檢索、注釋指南檢索和知識圖譜檢索組件的變體。

結(jié)果證實(shí)，忽略任何類型的信息都會降低AgentRE的性能，尤其是移除標(biāo)記樣本（-samples）對性能的影響最為顯著。

圖片

圖片

圖片

為探究記憶模塊對信息抽取效能的影響，分析了在DuIE數(shù)據(jù)集上，AgentRE在不同記憶配置下，隨著訓(xùn)練樣本數(shù)量增加的F1、召回率和精確度得分，如上圖所示，圖中的X軸代表訓(xùn)練樣本的數(shù)量。對比模型包括不包含記憶模塊的AgentRE-w/oM、搭載淺層記憶的AgentRE-wM），以及融合了淺層與深層記憶的AgentRE-wM+。相較于缺乏記憶功能的模型，這些搭載記憶模塊的模型能夠同時(shí)利用輸入樣本及歷史抽取記錄。

? 搭載記憶模塊的模型（AgentRE-wM和AgentRE-wM+）在所有評價(jià)指標(biāo)上均優(yōu)于無記憶模塊的版本，凸顯了記憶模塊在提升抽取精度方面的積極作用。

? 隨著數(shù)據(jù)量的增加，搭載記憶模塊的模型表現(xiàn)更佳，這表明了利用過往抽取經(jīng)驗(yàn)進(jìn)行動態(tài)學(xué)習(xí)的有效性。

? AgentRE-wM+在數(shù)據(jù)輸入增多時(shí)相較于AgentRE-wM展現(xiàn)出更卓越的性能，這暗示了一種全面的記憶方法，超越了單純的個(gè)體樣本追蹤，能夠進(jìn)一步提升抽取效能。

本文轉(zhuǎn)載自 ??大語言模型論文跟蹤??，作者：HuggingAGI