1. 背景

信息抽取（Information Extraction, IE）是自然語(yǔ)言處理領(lǐng)域的核心，也是構(gòu)建知識(shí)圖譜、知識(shí)推理和知識(shí)問(wèn)答等眾多下游任務(wù)的基礎(chǔ)。信息抽取一般包括：命名實(shí)體識(shí)別（Named Entity Recognition， NER）、關(guān)系抽取（Relation Extraction，RE ）和事件抽取（Event Extraction）。

圖片

隨著大語(yǔ)言模型的興起，比如GPT4，信息抽取領(lǐng)域迎來(lái)了重大發(fā)展，因?yàn)檫@些模型在文本理解等方面能力非常強(qiáng)悍。所以現(xiàn)在大家都傾向于使用LLM來(lái)進(jìn)行信息抽取任務(wù)。

? 命名實(shí)體識(shí)別（NER）：囊括了兩項(xiàng)任務(wù)：首先是實(shí)體識(shí)別，它負(fù)責(zé)辨認(rèn)出文本中的實(shí)體部分（如“Steve”）；其次是實(shí)體分類(lèi)，為識(shí)別出的實(shí)體貼上類(lèi)型標(biāo)簽，比如：人物。

? 關(guān)系抽取（RE）：在不同研究中有著不同的應(yīng)用場(chǎng)景。將其分為三大類(lèi)：

? （1）Relation Classification：
即確定兩個(gè)實(shí)體間的關(guān)系類(lèi)別；

? （2）Relation Triplet：
即找出關(guān)系類(lèi)型及其對(duì)應(yīng)的主體和客體實(shí)體；

? （3）Relation Strict：
即精確指出關(guān)系類(lèi)型、實(shí)體跨度以及主體和客體的類(lèi)別。

? 事件抽取（EE）：則分為兩個(gè)子任務(wù)，

? （1）事件檢測(cè)（Event Detection）：
有時(shí)也稱作事件觸發(fā)器抽取，其目標(biāo)是識(shí)別并界定最能體現(xiàn)事件發(fā)生的觸發(fā)詞及其類(lèi)型；

? （2）事件論元抽取（Event Arguments Extraction）：
其目的在于從文本中找出并分類(lèi)事件中扮演特定角色的論元。

2. 按任務(wù)類(lèi)型分類(lèi)

圖片

如上文提到的，按任務(wù)類(lèi)型分類(lèi)，信息抽取任務(wù)可以分為：命名實(shí)體識(shí)別（Named Entity Recognition， NER）、關(guān)系抽取（Relation Extraction，RE ）和事件抽取（Event Extraction）。

2.1 命名實(shí)體識(shí)別（NER）

命名實(shí)體識(shí)別（NER）作為信息抽取（IE）的核心環(huán)節(jié)，同時(shí)在關(guān)系抽取（RE）和事件抽取（EE）中充當(dāng)基礎(chǔ)或前置任務(wù)。它在自然語(yǔ)言處理（NLP）的其他領(lǐng)域也是基石般的存在，因此成為研究者在大型語(yǔ)言模型（LLMs）時(shí)代探索新視野的熱點(diǎn)。

夏等人（2023b）通過(guò)將所有概率質(zhì)量集中在觀測(cè)序列上引入了偏差；本文則提出了一種在序列到序列（Seq2Seq）框架下的基于重新排名的方法，該方法利用對(duì)比損失在候選序列間重新分配可能性，而非簡(jiǎn)單地?cái)U(kuò)充數(shù)據(jù)集。鑒于NER的序列標(biāo)注特性與LLMs等文本生成模型之間的差異，GPT-NER王等人（2023b）提出了將NER問(wèn)題轉(zhuǎn)化為生成任務(wù)的創(chuàng)新思路，并設(shè)計(jì)了一種自我驗(yàn)證策略，以糾正將NULL輸入誤判為實(shí)體的問(wèn)題。謝等人（2023b）提出了一種無(wú)需額外訓(xùn)練的自我提升框架，該框架通過(guò)大型語(yǔ)言模型（LLM）對(duì)未標(biāo)注語(yǔ)料庫(kù)進(jìn)行預(yù)測(cè)，生成偽標(biāo)簽，以此提升LLM在零樣本NER任務(wù)中的表現(xiàn)。

圖片

上圖展示了五個(gè)主要數(shù)據(jù)集上NER性能的對(duì)比，可以發(fā)現(xiàn)：

? 1）在少樣本和零樣本場(chǎng)景下的模型與在監(jiān)督微調(diào)（SFT）和領(lǐng)域適應(yīng)（DA）場(chǎng)景下的模型相比，性能差距依然顯著。

? 2）盡管不同模型的基礎(chǔ)架構(gòu)差異不大，但在上下文學(xué)習(xí)（ICL）框架下，不同方法之間的性能卻大相徑庭。例如，GPT-NER在各個(gè)數(shù)據(jù)集上的F1值至少比其他方法高出6%，最高可達(dá)19%。

? 3）與ICL相比，在SFT框架下，即使模型的基礎(chǔ)參數(shù)相差數(shù)百倍，它們的性能差異也相對(duì)較小。

小編：在ICL方法中，GPT-NER方法在各個(gè)數(shù)據(jù)集中得分是最高的

附上表中的縮寫(xiě)：

? Cross-Domain Learning (CDL)

? Zero-Shot Prompting (ZS Pr)

? In-Context Learning (ICL)

? Supervised Fine-Tuning (SFT)

? Data Augmentation (DA)

2.2 關(guān)系抽取（Relation Extraction，RE）

總體而言，LLM在關(guān)系抽取任務(wù)上表現(xiàn)一般，主要原因可能是由于指令調(diào)優(yōu)數(shù)據(jù)集里關(guān)系抽取的數(shù)據(jù)比較少。

? Zhang等人（2023b）的QA4RE提出了一種框架，通過(guò)將關(guān)系抽取任務(wù)與問(wèn)答任務(wù)相結(jié)合來(lái)提升LLMs的性能。

? Wan等人（2023）的GPT-RE則通過(guò)引入任務(wù)感知表示和注入推理邏輯的演示，增強(qiáng)了實(shí)體與關(guān)系之間低相關(guān)性的問(wèn)題，以及解釋輸入與標(biāo)簽映射的不足。

? 面對(duì)預(yù)定義關(guān)系類(lèi)型的繁多和LLMs的難以控制，Li等人（2023e）建議將LLM與自然語(yǔ)言推理模塊相結(jié)合，以生成關(guān)系三元組，從而增強(qiáng)文檔層面的關(guān)系數(shù)據(jù)集。

圖片

圖片

從上面兩個(gè)表的統(tǒng)計(jì)數(shù)據(jù)中可以發(fā)現(xiàn)，uni-ie模型傾向于解決更具挑戰(zhàn)性的Relation Strict問(wèn)題，這是因?yàn)樗鼈儗W(xué)習(xí)了多任務(wù)間的相互依賴，如Paolini等人（2021）和Lu等人（2022）所指出的；而特定于任務(wù)的方法則更多地解決了較為簡(jiǎn)單的關(guān)系抽取子任務(wù)，例如關(guān)系分類(lèi)。此外，與命名實(shí)體識(shí)別（NER）相比，關(guān)系抽取（RE）中模型性能的差異更為顯著，這表明LLM在關(guān)系抽取任務(wù)上的潛力尚有很大的挖掘空間。

2.3 事件抽取（Event Extraction）

事件可被界定為在特定情境中發(fā)生的特定事件或事故。

? 如Lu等人（2023）致力于通過(guò)大型語(yǔ)言模型（LLMs）提取事件觸發(fā)詞和觀點(diǎn)，以理解事件并捕獲它們之間的聯(lián)系，這對(duì)于多樣的推理任務(wù)而言至關(guān)重要。

? Zhou等人（2022b）提出的ClarET模型通過(guò)三項(xiàng)預(yù)訓(xùn)練任務(wù)，更高效地捕捉事件間的相互關(guān)系，并在眾多下游任務(wù)中取得了最先進(jìn)的成績(jī)（SOTA）。

? Wang等人（2023d）開(kāi)發(fā)的Code4Struct模型則利用LLMs將文本轉(zhuǎn)化為代碼，以應(yīng)對(duì)結(jié)構(gòu)化預(yù)測(cè)任務(wù)，通過(guò)結(jié)構(gòu)與代碼之間的對(duì)應(yīng)關(guān)系，引入外部知識(shí)和約束。

? Luo和Xu（2023）提出的PGAD模型考慮到擴(kuò)展上下文中不同論元間的相互聯(lián)系，采用文本擴(kuò)散模型生成多樣的上下文感知提示表示，通過(guò)識(shí)別并協(xié)調(diào)多個(gè)與角色特定的論元范圍查詢，提升了句子級(jí)和文檔級(jí)事件論元抽取的效果。

圖片

上表中匯總了基于常見(jiàn)事件抽取數(shù)據(jù)集ACE05的近期研究實(shí)驗(yàn)結(jié)果。結(jié)果顯示，目前絕大多數(shù)方法均基于監(jiān)督式微調(diào)（SFT）范式，而采用LLMs進(jìn)行零樣本或少樣本學(xué)習(xí)的方法相對(duì)較少。此外，生成性方法在觀點(diǎn)分類(lèi)指標(biāo)上顯著優(yōu)于區(qū)分性方法，這表明在事件抽取領(lǐng)域，生成性LLMs擁有巨大的發(fā)展?jié)摿Α?/p>

3. 信息抽取框架

過(guò)去，很多信息抽取框架只針對(duì)某一類(lèi)抽取任務(wù)，但是隨著大語(yǔ)言模型的發(fā)展，越來(lái)越多的框架支持所有的信息抽取任務(wù)。這其中又可以根據(jù)抽取方式的不同，分為基于自然語(yǔ)言的LLMs（NL-LLMs）和基于代碼的LLMs（code-LLMs）。

3.1 基于自然語(yǔ)言的LLMs（NL-LLMs）

基于自然語(yǔ)言的方法將所有信息抽取任務(wù)統(tǒng)一到一個(gè)通用的自然語(yǔ)言架構(gòu)中。例如，Lu等人（2022）提出的UIE采用統(tǒng)一的文本到結(jié)構(gòu)生成框架，通過(guò)結(jié)構(gòu)化提取語(yǔ)言編碼抽取結(jié)構(gòu)，捕捉信息抽取的共通能力。Wang等人（2023c）的InstructUIE通過(guò)專家編寫(xiě)的指令集來(lái)增強(qiáng)UIE，微調(diào)LLMs以一致性地模擬不同的信息抽取任務(wù)，捕捉任務(wù)間的相互依賴。Wei等人（2023）的ChatIE則探索了使用如GPT3和ChatGPT這樣的LLMs進(jìn)行零樣本提示，將任務(wù)轉(zhuǎn)化為多輪問(wèn)答形式。

3.2 基于代碼的LLMs（code-LLMs）

基于代碼的方法通過(guò)生成符合通用編程架構(gòu)的代碼來(lái)統(tǒng)一信息抽取任務(wù)，如Wang等人（2023d）所述。Guo等人（2023）的Code4UIE提出了一個(gè)通用的檢索增強(qiáng)型代碼生成框架，使用Python類(lèi)定義架構(gòu)，并通過(guò)上下文學(xué)習(xí)從文本中生成代碼以抽取結(jié)構(gòu)化知識(shí)。Bi等人（2023）的CodeKGC則利用代碼中固有的結(jié)構(gòu)知識(shí)，采用架構(gòu)感知提示和理由增強(qiáng)生成來(lái)提升性能。Sainz等人（2023）提出的GoLLIE旨在通過(guò)微調(diào)LLMs以符合注釋指南，增強(qiáng)在未見(jiàn)信息抽取任務(wù)上的零樣本性能。

4. 學(xué)習(xí)范式

根據(jù)學(xué)習(xí)范式對(duì)方法進(jìn)行分類(lèi)，涵蓋監(jiān)督式微調(diào)、少樣本學(xué)習(xí)、零樣本學(xué)習(xí)和數(shù)據(jù)增強(qiáng)。

4.1 監(jiān)督式微調(diào)

將全部訓(xùn)練數(shù)據(jù)輸入以微調(diào)LLMs，這種方法常見(jiàn)，它使模型能夠捕捉數(shù)據(jù)中的結(jié)構(gòu)性模式，并良好地泛化至未見(jiàn)過(guò)的IE任務(wù)。例如，Deepstruct通過(guò)結(jié)構(gòu)預(yù)訓(xùn)練來(lái)增強(qiáng)語(yǔ)言模型的結(jié)構(gòu)理解；UniNER探索了針對(duì)性的蒸餾和指令調(diào)整，以訓(xùn)練學(xué)生模型廣泛用于命名實(shí)體識(shí)別（NER）等任務(wù)；GIELLM則利用混合數(shù)據(jù)集微調(diào)LLMs，以提升多任務(wù)性能。

4.2 少樣本學(xué)習(xí)

少樣本學(xué)習(xí)面對(duì)的挑戰(zhàn)包括過(guò)擬合和難以捕捉復(fù)雜關(guān)系。然而，擴(kuò)大LLMs的參數(shù)規(guī)模賦予了它們出色的泛化能力，使它們?cè)谏贅颖緢?chǎng)景中表現(xiàn)卓越。TANL、UIE和cp-NER等創(chuàng)新方法通過(guò)翻譯框架、文本到結(jié)構(gòu)生成框架和領(lǐng)域前綴調(diào)整等策略，實(shí)現(xiàn)了少樣本微調(diào)的先進(jìn)性能。盡管LLMs取得了成功，但在無(wú)訓(xùn)練的IE任務(wù)中仍面臨挑戰(zhàn)。GPT-NER和GPT-RE通過(guò)自我驗(yàn)證策略和增強(qiáng)任務(wù)感知表示，展示了如何有效利用GPT進(jìn)行上下文學(xué)習(xí)。CODEIE和CodeKGC則表明，將IE任務(wù)轉(zhuǎn)換為代碼生成任務(wù)，可以獲得比自然語(yǔ)言LLMs更優(yōu)越的性能。

4.3 零樣本學(xué)習(xí)

零樣本學(xué)習(xí)的主要挑戰(zhàn)在于使模型有效泛化至未訓(xùn)練的任務(wù)和領(lǐng)域，并與LLMs的預(yù)訓(xùn)練范式對(duì)齊。LLMs因其豐富的知識(shí)儲(chǔ)備，在未見(jiàn)任務(wù)的零樣本場(chǎng)景中展現(xiàn)出令人印象深刻的能力。為了實(shí)現(xiàn)LLMs在IE任務(wù)中的零樣本跨域泛化，提出了多項(xiàng)工作，提供了一個(gè)通用框架來(lái)建模各種IE任務(wù)和領(lǐng)域，并引入了創(chuàng)新的訓(xùn)練提示。BART-Gen提出了一個(gè)文檔級(jí)神經(jīng)模型，通過(guò)將實(shí)體抽取任務(wù)制定為條件生成，實(shí)現(xiàn)了更好的性能和可移植性。

4.4 數(shù)據(jù)增強(qiáng)

圖片

數(shù)據(jù)增強(qiáng)通過(guò)創(chuàng)造豐富多樣的數(shù)據(jù)來(lái)提升訓(xùn)練樣本或信息的質(zhì)量，同時(shí)避免引入不真實(shí)、誤導(dǎo)性或有偏差的模式。當(dāng)前強(qiáng)大的大型語(yǔ)言模型（LLMs）在數(shù)據(jù)生成任務(wù)上展現(xiàn)出了卓越的能力，這激發(fā)了眾多研究者利用LLMs為信息抽取（IE）領(lǐng)域生成合成數(shù)據(jù)的興趣。這一過(guò)程大致可分為三大策略，如上圖所示。

4.4.1 數(shù)據(jù)注釋策略

直接利用LLMs生成帶有標(biāo)簽的數(shù)據(jù)。例如，Zhang等人（2023c）提出的LLMaAA，通過(guò)在主動(dòng)學(xué)習(xí)循環(huán)中將LLMs作為注釋器使用，以提高數(shù)據(jù)的準(zhǔn)確性和效率，優(yōu)化了注釋與訓(xùn)練流程。AugURE由Wang等人（2023a）開(kāi)發(fā)，它通過(guò)句子內(nèi)對(duì)的增強(qiáng)和跨句子對(duì)的提取，增強(qiáng)了無(wú)監(jiān)督實(shí)體識(shí)別（RE）中正例的多樣性，并引入了針對(duì)句子對(duì)的邊界損失。

4.4.2 知識(shí)檢索策略

旨在從LLMs中提取與IE相關(guān)的知識(shí)。Li等人（2023d）提出的PGIM采用了一個(gè)兩階段框架，利用ChatGPT作為一個(gè)隱式知識(shí)庫(kù)，以啟發(fā)式的方式檢索輔助知識(shí)，提高實(shí)體預(yù)測(cè)的效率。Amalvy等人（2023）提出通過(guò)創(chuàng)建合成的上下文檢索訓(xùn)練數(shù)據(jù)集，并訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)上下文檢索器，來(lái)提升長(zhǎng)文檔的命名實(shí)體識(shí)別（NER）性能。

4.4.3 逆向生成策略

鼓勵(lì)LLMs根據(jù)輸入的結(jié)構(gòu)化數(shù)據(jù)生成自然文本或問(wèn)題，與LLMs的訓(xùn)練模式保持一致。Josifoski等人（2023）的SynthIE展示了LLMs能夠通過(guò)逆轉(zhuǎn)任務(wù)方向，為復(fù)雜任務(wù)創(chuàng)造高質(zhì)量的合成數(shù)據(jù)。他們利用這種方法為封閉信息提取創(chuàng)建了大型數(shù)據(jù)集，并訓(xùn)練出了超越以往標(biāo)準(zhǔn)的模型。這證明了利用LLMs生成復(fù)雜任務(wù)合成數(shù)據(jù)的潛力。Ma等人（2023b）的STAR項(xiàng)目則不依賴于真實(shí)目標(biāo)，而是從有效的觸發(fā)器和參數(shù)生成結(jié)構(gòu)，然后由LLMs生成段落，這避免了限制泛化性和可擴(kuò)展性的問(wèn)題。

綜合來(lái)看，這些策略各有利弊。數(shù)據(jù)注釋能夠直接滿足任務(wù)需求，但LLMs在結(jié)構(gòu)化生成方面的能力還有待提升。知識(shí)檢索可以提供關(guān)于實(shí)體和關(guān)系的額外信息，但可能會(huì)產(chǎn)生幻覺(jué)問(wèn)題并引入噪聲。逆向生成與LLMs的問(wèn)答（QA）范式相吻合，但需要結(jié)構(gòu)化數(shù)據(jù)，且在生成對(duì)與領(lǐng)域之間存在一定的差距，需要進(jìn)一步解決。

5. 領(lǐng)域知識(shí)

不可忽視，大型語(yǔ)言模型（LLMs）在挖掘特定領(lǐng)域信息方面擁有巨大潛力，如多模態(tài)信息處理Chen和Feng（2023）；Li等人（2023d）、醫(yī)療信息Tang等人（2023）；Ma等人（2023a）以及科學(xué)文獻(xiàn)Dunn等人（2022）；Cheung等人（2023）的分析。例如，在多模態(tài)領(lǐng)域，Chen和Feng（2023）提出了一種條件性提示蒸餾技術(shù)，它通過(guò)結(jié)合文本-圖像配對(duì)與LLMs的思維鏈知識(shí)，顯著提升了多模態(tài)命名實(shí)體識(shí)別（NER）和實(shí)體識(shí)別（RE）的性能。

在醫(yī)療領(lǐng)域，Tang等人（2023）深入探究了LLMs在臨床文本挖掘中的應(yīng)用，并提出了一種創(chuàng)新的訓(xùn)練策略，該策略通過(guò)使用合成數(shù)據(jù)來(lái)增強(qiáng)性能并解決隱私保護(hù)問(wèn)題。

在科學(xué)文獻(xiàn)分析方面，Dunn等人（2022）展示了一種使用GPT-3的序列到序列方法，有效地從復(fù)雜的科學(xué)文本中聯(lián)合提取命名實(shí)體和實(shí)體，特別是在材料化學(xué)領(lǐng)域，證明了其在提取復(fù)雜科學(xué)知識(shí)方面的卓越能力。

6. 未來(lái)展望

融合大型語(yǔ)言模型（LLMs）以構(gòu)建生成式信息抽取（IE）系統(tǒng)仍處于起步階段，提升空間廣闊。

6.1 通用IE

傳統(tǒng)生成式IE技術(shù)和評(píng)測(cè)基準(zhǔn)往往針對(duì)特定領(lǐng)域或任務(wù)定制，這限制了它們的普適性Yuan等人（2022）。雖然近期提出了一些利用LLMs的通用方法Lu等人（2022），但它們?nèi)源嬖诰窒蓿缣幚黹L(zhǎng)上下文輸入和結(jié)構(gòu)化輸出的不一致性。因此，開(kāi)發(fā)能夠靈活適應(yīng)多樣化領(lǐng)域和任務(wù)的通用IE框架，是未來(lái)研究的一大方向，比如整合特定任務(wù)模型的洞察來(lái)輔助構(gòu)建通用模型。

6.2 低資源IE

在資源受限的環(huán)境中，結(jié)合LLMs的生成式IE系統(tǒng)依舊面臨挑戰(zhàn)Li等人（2023a）。綜上，需要進(jìn)一步挖掘LLMs的上下文學(xué)習(xí)能力，尤其是在提升樣本選擇上。未來(lái)研究應(yīng)著重開(kāi)發(fā)強(qiáng)大的跨領(lǐng)域?qū)W習(xí)技術(shù)Wang等人（2023c），例如通過(guò)領(lǐng)域適應(yīng)或多任務(wù)學(xué)習(xí)，從資源豐富的領(lǐng)域中汲取知識(shí)。同時(shí)，也應(yīng)探索與LLMs結(jié)合的高效數(shù)據(jù)注釋策略。

6.3 IE的提示設(shè)計(jì)

精心設(shè)計(jì)的指令對(duì)LLMs的性能有著重要影響Qiao等人（2022）；Yin等人（2023）。一方面，提示設(shè)計(jì)要構(gòu)建與LLMs預(yù)訓(xùn)練階段更契合的輸入輸出對(duì)（例如代碼生成）Guo等人（2023）。另一方面，優(yōu)化提示以促進(jìn)模型的深入理解和推理（例如思維鏈）Li等人（2023b），鼓勵(lì)LLMs進(jìn)行邏輯推斷或生成可解釋的內(nèi)容。此外，還可以探索交互式提示設(shè)計(jì)（如多輪問(wèn)答）Zhang等人（2023b），使LLMs能夠自動(dòng)迭代優(yōu)化或?qū)ι傻某槿〗Y(jié)果提供反饋。

6.4 開(kāi)放IE

開(kāi)放IE環(huán)境對(duì)IE模型來(lái)說(shuō)更具挑戰(zhàn)性，因?yàn)樗鼈儾活A(yù)設(shè)任何候選標(biāo)簽集，完全依靠模型對(duì)任務(wù)的理解能力。憑借其豐富的知識(shí)和理解力，LLMs在某些開(kāi)放IE任務(wù)上擁有明顯優(yōu)勢(shì)Zhou等人（2023）。然而，在一些更具挑戰(zhàn)性的任務(wù)上，LLMs的表現(xiàn)仍有待提高Qi等人（2023）；Li等人（2023a），這需要研究者們繼續(xù)深入探索。

本文轉(zhuǎn)載自??大語(yǔ)言模型論文跟蹤??，作者：HuggingAGI