我們一起聊聊知識(shí)抽取，你學(xué)會(huì)了嗎？
一、簡介
知識(shí)抽取通常指從非結(jié)構(gòu)化文本中挖掘結(jié)構(gòu)化信息，如語義信息豐富的標(biāo)簽、短語等。在業(yè)界被廣泛使用的場景包括內(nèi)容理解、商品理解，從用戶生產(chǎn)的文本信息中挖掘有價(jià)值的標(biāo)簽打在內(nèi)容或商品上。
知識(shí)抽取通常伴隨著對(duì)所抽取標(biāo)簽或短語的分類，通常被建模為命名實(shí)體識(shí)別任務(wù)，通用的命名實(shí)體識(shí)別任務(wù)就是識(shí)別命名實(shí)體成分并將成分劃分到地名、人名、機(jī)構(gòu)名等類型上；領(lǐng)域相關(guān)的標(biāo)簽詞抽取將標(biāo)簽詞識(shí)別并劃分到領(lǐng)域自定義的類別上，如系列（空軍一號(hào)、音速 9）、品牌（Nike、李寧）、類型（鞋、服裝、數(shù)碼）、風(fēng)格（ins 風(fēng)、復(fù)古風(fēng)、北歐風(fēng)）等。
為描述方便，下文將信息量豐富的標(biāo)簽或短語統(tǒng)稱為標(biāo)簽詞。
二、知識(shí)抽取分類
圖1 知識(shí)抽取方法分類
三、標(biāo)簽詞挖掘
無監(jiān)督方法
基于統(tǒng)計(jì)的方法
- TF-IDF(Term Frequency-Inverse Document Frequency) ：統(tǒng)計(jì)每個(gè)詞的 TF-IDF 打分，分?jǐn)?shù)越高說明包含的信息量越大。
計(jì)算方法：tfidf(t, d, D) = tf(t, d) * idf(t, D)，其中tf(t, d) = log(1 + freq(t, d)), freq(t,d) 表示候選詞 t 在當(dāng)前文檔 d 中出現(xiàn)的次數(shù)，idf(t,D) = log(N/count(d∈D:t∈D)) 表示候選詞 t 出現(xiàn)在多少個(gè)文檔中，用來表示一個(gè)詞語的稀有度，假如一個(gè)詞語只在一篇文檔中出現(xiàn)，說明這個(gè)詞語比較稀有，信息量更豐富。
特定業(yè)務(wù)場景下可以借助外部工具對(duì)候選詞先進(jìn)行一輪篩選，如采用詞性標(biāo)識(shí)篩選名詞。
- YAKE[1]：定義了五個(gè)特征來捕捉關(guān)鍵詞特征，這些特征被啟發(fā)式地組合起來，為每個(gè)關(guān)鍵詞分配一個(gè)分?jǐn)?shù)。分?jǐn)?shù)越低，關(guān)鍵詞越重要。1）大寫詞：大寫字母的Term（除了每句話的開頭單詞）的重要程度比那些小寫字母的 Term 重要程度要大，對(duì)應(yīng)到中文可能是粗體字次數(shù)；2）詞位置：每段文本越開頭的部分詞的重要程度比后面的詞重要程度更大；3）詞頻，統(tǒng)計(jì)詞出現(xiàn)的頻次；4）詞的上下文關(guān)系，用來衡量固定窗口大小下出現(xiàn)不同詞的個(gè)數(shù)，一個(gè)詞與越多不相同的詞共現(xiàn)，該詞的重要程度越低；5）詞在不同句子中出現(xiàn)的次數(shù)，一個(gè)詞在更多句子中出現(xiàn)，相對(duì)更重要。
基于圖的方法 Graph-Based Model
- TextRank[2]：首先對(duì)文本進(jìn)行分詞和詞性標(biāo)注，并過濾掉停用詞，只保留指定詞性的單詞來構(gòu)造圖。每個(gè)節(jié)點(diǎn)都是一個(gè)單詞，邊表示單詞之間的關(guān)系，通過定義單詞在預(yù)定大小的移動(dòng)窗口內(nèi)的共現(xiàn)來構(gòu)造邊。采用 PageRank 更新節(jié)點(diǎn)的權(quán)重直至收斂；對(duì)節(jié)點(diǎn)權(quán)重進(jìn)行倒排序，從而得到最重要的 k 個(gè)詞語，作為候選關(guān)鍵詞；將候選詞在原始文本中進(jìn)行標(biāo)記，若形成相鄰詞組，則組合成多詞組的關(guān)鍵詞短語。
基于表征的方法 Embedding-Based Model
- EmbedRank[3]：通過分詞和詞性標(biāo)注選擇候選詞，采用預(yù)訓(xùn)練好的 Doc2Vec 和 Sent2vec 作為候選詞和文檔的向量表征，計(jì)算余弦相似度對(duì)候選詞進(jìn)行排序。類似的，KeyBERT[4] 將 EmbedRank 的向量表征替換為 BERT。
有監(jiān)督方法
- 先篩候選詞再采用標(biāo)簽詞分類：經(jīng)典的模型 KEA[5] 對(duì)四個(gè)設(shè)計(jì)的特征采用 Naive Bayes 作為分類器對(duì) N-gram 候選詞進(jìn)行打分。
- 候選詞篩選和標(biāo)簽詞識(shí)別聯(lián)合訓(xùn)練：BLING-KPE[6] 將原始句子作為輸入，分別用 CNN、Transformer 對(duì)句子的 N-gram 短語進(jìn)行編碼，計(jì)算該短語是標(biāo)簽詞的概率，是否是標(biāo)簽詞采用人工標(biāo)注 Label。BERT-KPE[7] 在 BLING-KPE 的思想基礎(chǔ)上，將 ELMO 替換為 BERT 來更好地表示句子的向量。
圖2 BLING-KPE 模型結(jié)構(gòu)
遠(yuǎn)監(jiān)督方法
AutoPhrase
文中將高質(zhì)量短語定義為具有完整語義的單詞，同時(shí)滿足以下四個(gè)條件：
- Popularit：文檔中出現(xiàn)的頻次足夠高；
- Concordance：Token 搭配出現(xiàn)的頻率遠(yuǎn)高于替換后的其他搭配，即共現(xiàn)的頻次；
- Informativeness：有信息量、明確指示性，如 “this is” 就是沒有信息量的負(fù)例；
- Completeness：短語及其子短語都要具有完整性。
AutoPhrase 標(biāo)簽挖掘流程如圖 3 所示，首先通過詞性標(biāo)注篩選高頻 N-gram 詞作為候選，通過遠(yuǎn)監(jiān)督方式對(duì)候選詞作分類，再通過以上四個(gè)條件篩選高質(zhì)量的短語（Phrase-Quality Re-Estimation）。
圖3 AutoPhrase 標(biāo)簽挖掘流程
從外部知識(shí)庫獲取高質(zhì)量的短語作為 Positive Pool，其他短語作為負(fù)例，按論文實(shí)驗(yàn)統(tǒng)計(jì)，負(fù)例池中存在 10% 的高質(zhì)量短語因?yàn)闆]有在知識(shí)庫中被分到了負(fù)例中，因此論文采用了如圖 4 所示的隨機(jī)森林集成分類器來降低噪聲對(duì)分類的影響。在業(yè)界應(yīng)用中，分類器的訓(xùn)練也可以采用基于預(yù)訓(xùn)練模型 BERT 的句間關(guān)系任務(wù)二分類方法[13]。
圖4 AutoPhrase標(biāo)簽詞分類方法
四、標(biāo)簽詞分類
有監(jiān)督方法
NER 序列標(biāo)注模型
Lattice LSTM[8] 是針對(duì)中文 NER 任務(wù)引入詞匯信息的開篇之作，Lattice 是一個(gè)有向無環(huán)圖，詞匯的開始和結(jié)束字符決定了格子位置，通過詞匯信息（詞典）匹配一個(gè)句子時(shí)，可以獲得一個(gè)類似 Lattice 的結(jié)構(gòu)，如圖 5(a) 所示。Lattice LSTM 結(jié)構(gòu)則融合了詞匯信息到原生的 LSTM 中，如 5(b) 所示，對(duì)于當(dāng)前的字符，融合以該字符結(jié)束的所有外部詞典信息，如“店”融合了“人和藥店”和“藥店”的信息。對(duì)于每一個(gè)字符，Lattice LSTM 采取注意力機(jī)制去融合個(gè)數(shù)可變的詞單元。雖然 Lattice-LSTM 有效提升了 NER 任務(wù)的性能，但 RNN 結(jié)構(gòu)無法捕捉長距離依賴，同時(shí)引入詞匯信息是有損的，同時(shí)動(dòng)態(tài)的 Lattice 結(jié)構(gòu)也不能充分進(jìn)行 GPU 并行，F(xiàn)lat[9] 模型有效改善了這兩個(gè)問題。如圖 5(c)，F(xiàn)lat 模型通過 Transformer 結(jié)構(gòu)來捕捉長距離依賴，并設(shè)計(jì)了一種位置編碼 Position Encoding 來融合 Lattice 結(jié)構(gòu)，將字符匹配到的詞匯拼接到句子后，對(duì)于每一個(gè)字符和詞匯都構(gòu)建兩個(gè) Head Position Encoding 和 Tail Position Encoding，將 Lattice 結(jié)構(gòu)展平，從一個(gè)有向無環(huán)圖展平為一個(gè)平面的 Flat-Lattice Transformer 結(jié)構(gòu)。
圖5 引入詞匯信息的 NER 模型
遠(yuǎn)監(jiān)督方法
AutoNER
采用 Tie or Break 的實(shí)體邊界標(biāo)識(shí)方案來替代 BIOE 的標(biāo)注方式來緩解遠(yuǎn)監(jiān)督帶來的噪聲問題，Tie 表示當(dāng)前詞和上一個(gè)詞在同一個(gè)實(shí)體內(nèi)，Break 表示當(dāng)前詞和上一個(gè)詞不再同一個(gè)實(shí)體內(nèi)。
在實(shí)體分類階段，通過模糊 CRF（Fuzzy CRF）來應(yīng)對(duì)一個(gè)實(shí)體有多種類型的情況。
圖6 AutoNER 模型結(jié)構(gòu)圖
BOND
圖片
圖7 BOND訓(xùn)練流程圖
五、總結(jié)
參考文獻(xiàn)
【1】Campos R, Mangaravite V, Pasquali A, et al. Yake! collection-independent automatic keyword extractor[C]//Advances in Information Retrieval: 40th European Conference on IR Research, ECIR 2018, Grenoble, France, March 26-29, 2018, Proceedings 40. Springer International Publishing, 2018: 806-810. https://github.com/LIAAD/yake
【2】Mihalcea R, Tarau P. Textrank: Bringing order into text[C]//Proceedings of the 2004 conference on empirical methods in natural language processing. 2004: 404-411.
【3】Bennani-Smires K, Musat C, Hossmann A, et al. Simple unsupervised keyphrase extraction using sentence embeddings[J]. arXiv preprint arXiv:1801.04470, 2018.
【4】KeyBERT，https://github.com/MaartenGr/KeyBERT
【5】Witten I H, Paynter G W, Frank E, et al. KEA: Practical automatic keyphrase extraction[C]//Proceedings of the fourth ACM conference on Digital libraries. 1999: 254-255.
【6】Xiong L, Hu C, Xiong C, et al. Open domain web keyphrase extraction beyond language modeling[J]. arXiv preprint arXiv:1911.02671, 2019.
【7】Sun, S., Xiong, C., Liu, Z., Liu, Z., & Bao, J. (2020). Joint Keyphrase Chunking and Salience Ranking with BERT. arXiv preprint arXiv:2004.13639.
【8】Zhang Y, Yang J. Chinese NER using lattice LSTM[C]. ACL 2018.
【9】Li X, Yan H, Qiu X, et al. FLAT: Chinese NER using flat-lattice transformer[C]. ACL 2020.
【10】Shang J, Liu J, Jiang M, et al. Automated phrase mining from massive text corpora[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 30(10): 1825-1837.
【11】 Shang J, Liu L, Ren X, et al. Learning named entity tagger using domain-specific dictionary[C]. EMNLP, 2018.
【12】Liang C, Yu Y, Jiang H, et al. Bond: Bert-assisted open-domain named entity recognition with distant supervision[C]//Proceedings of the 26th ACM SIGKDD international conference on knowledge discovery & data mining. 2020: 1054-1064.
【13】美團(tuán)搜索中NER技術(shù)的探索與實(shí)踐，https://zhuanlan.zhihu.com/p/163256192
