句法敏感的實體表示用于神經網絡關系抽取。關系抽取任務大規模應用的一個主要瓶頸就是語料的獲取。近年來基于神經網絡的關系抽取模型把句子表示到一個低維空間。這篇論文的創新在于把句法信息加入到實體的表示模型里。

首先，基于Tree-GRU，把實體上下文的依存樹放入句子級別的表示。其次，利用句子間和句子內部的注意力，來獲得含有目標實體的句子集合的表示。

研究背景和動機

關系抽取任務大規模應用的一個主要瓶頸就是語料的獲取。遠程監督模型通過將知識庫應用于非結構化文本對齊來自動構建大規模訓練數據，從而減輕對人工構建數據的依賴程度，并使得模型跨領域適應能力得到增強。然而，在利用遠程監督構建語料的過程中，僅僅利用實體名稱進行對齊，而不同實體在不同關系下應該具有更加豐富的多樣的語義表示，從而導致錯誤標注等問題。因此，一套更加豐富的實體表示顯得尤為重要。

另一方，基于語法信息的方法通常作用于兩個實體之間的關系上，而語法信息是可以更加豐富實體的表示的。因此，本文基于句法上下文的實體表示來豐富實體在不同關系模式下的語義，并結合神經網絡模型處理關系抽取任務。

相關工作介紹

我們把相關的工作大致分成早期基于遠程監督的方法和近年來基于神經網絡模型兩類。

為了解決關系抽取任務嚴重依賴于標注語料的問題，Mintz et al.(2009)率先提出了基于遠程監督的方法構建標注語料。然而，這樣構建的自動標注語料含有大量的噪聲。為了緩解語料中噪聲帶來的影響，Riedel et al.(2010)將關系抽取看成是一個多實例單類別的問題。進一步的，Hoffmann et al.(2011)和Surdeanu et al.(2012)采取了多實例多類別的策略。同時，采用最短依存路徑作為關系的一個語法特征。上述方法典型的缺陷在于模型的性能依賴于特征模板的設計。

近年來，神經網絡被廣泛的應用于自然語言處理任務上。在關系抽取領域，Socher et al.(2012)采用循環神經網絡來處理關系抽取。Zeng et al.(2014)則構建了端到端的卷積神經網絡，進一步的，Zeng et al.(2015)假設多實例中至少有一個實例正確地表示了相應的關系。相比于假設有一個實例表示一對實體的關系，Lin et al.(2016)通過注意力機制挑選正面的實例更充分的使用了標注語料含有的信息。

以上這些基于神經網絡的方法大多數都使用詞層次的表示來生成句子的向量表示。另一方面，基于語法信息的表示也受到了眾多研究者的青睞，其中最主要的即最短依存路徑(Miwa and Bansal(2016)和Cai et al.(2016))。

主要方法

首先，基于依存句法樹，利用基于樹結構的循環神經網絡（Tree-GRU）模型生成實體在句子級別的表示。如上圖所示，有別于僅僅使用實體本身，我們能夠更好地表達出長距離的信息。具體的實體語義表示如下圖所示。我們使用Tree-GRU來獲得實體的語義表示。

其次，利用基于子節點的注意力機制（ATTCE，上圖）和基于句子級別的實體表示注意力機制(ATTEE，下圖)來減輕句法錯誤和錯誤標注的負面影響。

實驗結果

本文在NYT語料上進行了實驗。最終結果如上圖所示。其中，SEE-CAT和SEE-TRAINS分別是本文使用的兩種結合三種向量表示（句子的向量表示，兩個實體的向量表示）的策略。從圖中可以看出，本文提出的模型在相同數據集上取得了比現有遠程監督關系抽取模型更好的性能。

總結

本文的實驗結果表明，更豐富的命名實體語義表示能夠有效地幫助到最終的關系抽取任務。

團隊名稱：業務平臺事業部

作者：何正球，陳文亮，張梅山，李正華，張偉，張民