作者簡介

攜程旅游研發(fā)部大數(shù)據(jù)與AI研發(fā)團(tuán)隊(duì)，為旅游事業(yè)部提供豐富的AI技術(shù)產(chǎn)品和技術(shù)能力。

一、背景介紹

搜索是電商最重要的門面之一，大部分用戶通過搜索來找到他們想要的商品，因此搜索是用戶表達(dá)意圖最直接的方式，也是轉(zhuǎn)化率最高的流量來源之一。絕大部分的電商搜索是通過搜索框輸入搜索詞（Query）來完成，因此，搜索詞的詞義解析和意圖理解成為了搜索中的重要一環(huán)。

主流的搜索詞義解析和Query理解需要經(jīng)過糾錯(cuò)、同義詞替換、分詞、詞性標(biāo)注、實(shí)體識(shí)別、意圖識(shí)別、詞重要度權(quán)重、丟詞等步驟。以旅游場(chǎng)景下的搜索舉例，如圖1所示，當(dāng)用戶在搜索框輸入“云南香各里拉”作為Query的時(shí)候，首先搜索引擎需要對(duì)該搜索詞進(jìn)行糾錯(cuò)，這是為了便于后續(xù)步驟正確解析出用戶想要搜索的內(nèi)容；如果有必要，還會(huì)進(jìn)行同義詞替換。然后，對(duì)搜索詞進(jìn)行分詞和詞性標(biāo)注，識(shí)別出“云南”是省，“香格里拉”是城市或者酒店品牌，緊接著會(huì)做實(shí)體識(shí)別，召回“云南”和“香格里拉”在后臺(tái)數(shù)據(jù)庫里對(duì)應(yīng)的實(shí)體id。

這個(gè)時(shí)候，出現(xiàn)了一個(gè)分歧，“香格里拉”既可能是城市，又可能是酒店品牌。在用戶進(jìn)行搜索的時(shí)候，是否能夠預(yù)測(cè)出正確的類別和實(shí)體，對(duì)于搜索結(jié)果的精準(zhǔn)展示和提升用戶體驗(yàn)有重要的意義。因此，我們必須識(shí)別出用戶真正想要搜的是什么類別，并找到對(duì)應(yīng)的實(shí)體，否則可能在搜索列表頁前排會(huì)給出用戶不想要的結(jié)果。從人的先驗(yàn)知識(shí)來看，用戶搜索“云南香格里拉”，很大可能性是想要搜城市。意圖識(shí)別步驟，就是為了實(shí)現(xiàn)這個(gè)功能，識(shí)別出用戶真正的搜索意圖是代表城市的“香格里拉”。

后續(xù)就可以進(jìn)入搜索的召回步驟，召回主要負(fù)責(zé)的是把和搜索詞意圖相關(guān)的商品或內(nèi)容找出來。前面的步驟獲取了“云南”和“香格里拉”的id，就可以很方便的召回和“云南”和“香格里拉”都相關(guān)的商品或內(nèi)容。但是，有些時(shí)候，召回的結(jié)果為空或者過于稀少，這個(gè)時(shí)候給用戶的體驗(yàn)不好，因此，在召回的結(jié)果為空或者過于稀少的情況下，往往還需要丟詞和二次召回的操作。此外，有些詞屬于可省略詞，或者對(duì)搜索產(chǎn)生干擾的詞，也可以通過丟詞來處理。

所謂丟詞，就是把搜索詞中相對(duì)不重要或者聯(lián)系不緊密的詞丟掉，再次召回。那么該如何衡量每個(gè)詞的重要程度或者緊密程度？這里就需要引入了Term Weighting的模塊，把每個(gè)詞視為term，通過算法或規(guī)則計(jì)算每個(gè)term的weight，每個(gè)term的weight直接決定了term重要度和緊密度的順序。例如，假設(shè)“云南”的term weight是0.2，“香格里拉”的term weight是0.8，那么如果需要丟詞，就應(yīng)該先丟“云南”，保留“香格里拉”。

圖1 搜索詞義解析和Query理解步驟

傳統(tǒng)的搜索意圖識(shí)別會(huì)采用詞表匹配，類目概率統(tǒng)計(jì)，加上人為設(shè)定規(guī)則。傳統(tǒng)的Term Weighting同樣會(huì)采用詞表匹配和統(tǒng)計(jì)方法，比如根據(jù)全量商品的標(biāo)題和內(nèi)容統(tǒng)計(jì)出詞的TF-IDF、前后詞互信息、左右鄰熵等數(shù)據(jù)，直接存成詞典和分值，提供給線上使用，再根據(jù)一些規(guī)則輔助判斷，比如行業(yè)專有名詞直接給出較高的term weight，助詞直接給出較低的term weight。

但是，傳統(tǒng)的搜索意圖識(shí)別和Term Weighting算法無法達(dá)到很高的準(zhǔn)確率和召回率，特別是無法處理一些較為罕見的搜索詞，因此需要一些新的技術(shù)來提升這兩個(gè)模塊的準(zhǔn)確率和召回率，以及提升對(duì)罕見搜索詞的適應(yīng)能力。此外，因?yàn)樵L問頻率較高，搜索詞義解析需要非常快的響應(yīng)速度，在旅游搜索場(chǎng)景下，響應(yīng)速度往往需要達(dá)到接近個(gè)位數(shù)的毫秒級(jí)，這對(duì)于算法來說是一個(gè)很大的挑戰(zhàn)。

二、 問題分析

為了提高準(zhǔn)確率和召回率，我們采用深度學(xué)習(xí)來改進(jìn)搜索意圖識(shí)別和Term Weighting算法。深度學(xué)習(xí)通過樣本的學(xué)習(xí)，可以有效解決各種情況下的意圖識(shí)別和Term Weighting。此外，針對(duì)自然語言處理的大規(guī)模預(yù)訓(xùn)練語言模型的引入，可以進(jìn)一步強(qiáng)化深度學(xué)習(xí)模型的能力，減少樣本的標(biāo)注量，使得原本標(biāo)注成本較高的深度學(xué)習(xí)在搜索上應(yīng)用成為可能。

但是深度學(xué)習(xí)面臨的問題是，由于模型的復(fù)雜度較高，神經(jīng)網(wǎng)絡(luò)層數(shù)較深，響應(yīng)速度沒法滿足搜索的高要求。因此我們采用模型蒸餾和模型壓縮來減少模型的復(fù)雜度，在略微降低準(zhǔn)確率和召回率的情況下減少深度學(xué)習(xí)模型的耗時(shí)，以此保證較快的響應(yīng)速度和較高的性能。

三、意圖識(shí)別

類目識(shí)別是意圖識(shí)別的主要組成部分。意圖識(shí)別中的類目識(shí)別是搜索詞query經(jīng)過分詞后，對(duì)分詞結(jié)果打上所屬類目并給出對(duì)應(yīng)概率值的方法。解析用戶的搜索詞的意圖有利于分析用戶的直接搜索需求，從而輔助提升用戶體驗(yàn)。例如用戶在旅游頁面搜索 “云南香格里拉”，獲取到用戶輸入的“香格里拉”對(duì)應(yīng)的類目是“城市”，而不是“酒店品牌”，引導(dǎo)后續(xù)檢索策略偏向城市意圖。

在旅游場(chǎng)景下，用戶輸入的類目存在歧義的搜索詞占總量約11%，其中包含大量無分詞的搜索詞。“無分詞”是指經(jīng)過分詞處理后無更細(xì)化的切分片段，“類目存在歧義”是指搜索詞本身存在多種可能的類目。例如用戶輸入“香格里拉”，無更細(xì)化的切分片段，且對(duì)應(yīng)類目數(shù)據(jù)中存在“城市”、“酒店品牌”等多個(gè)類目。

如果搜索詞本身是多個(gè)詞的組合，則可以通過搜索詞自身上下文明確類目，優(yōu)先會(huì)以搜索詞本身作為識(shí)別目標(biāo)。如果單從搜索詞本身不能明確所屬類目，我們會(huì)優(yōu)先追加該用戶不相同的最近歷史搜索詞，以及最近商品類目點(diǎn)擊記錄，若無上述信息則追加定位站，作為補(bǔ)充語料。原始搜索詞經(jīng)過處理獲得待識(shí)別的Query R。

最近幾年，預(yù)訓(xùn)練語言模型在很多自然語言處理任務(wù)中大放光彩。在類目識(shí)別中，我們利用預(yù)訓(xùn)練模型的訓(xùn)練網(wǎng)絡(luò)參數(shù)，獲取含上下文語義的字特征Output_bert；使用字詞轉(zhuǎn)換模塊，字特征結(jié)合位置編碼:

獲取到分詞對(duì)應(yīng)的字符片段，如：

代表第i個(gè)分詞對(duì)應(yīng)的長度為l_i的字特征。基于字符片段W_i，字詞轉(zhuǎn)換模塊聚合出每個(gè)詞的特征H_wi。聚合手段可以是最大值池化max-pooling、最小值池化min-pooling、均值池化mean-pooling等方式，實(shí)驗(yàn)得到最大池化效果最佳。模塊輸出為搜索詞R的詞特征Output_R；通過并行分類器對(duì)搜索詞的詞特征Output_R中各個(gè)片段給出類目數(shù)據(jù)庫中涵蓋的匹配類目，并給出對(duì)應(yīng)類目的匹配概率。

圖2 類目識(shí)別整體結(jié)構(gòu)示意圖

類目識(shí)別模型是基于BERT-base 12層模型，由于模型過大，不滿足線上運(yùn)行的響應(yīng)速度要求，我們對(duì)模型進(jìn)行了知識(shí)蒸餾（Knowledge Distillation），將網(wǎng)絡(luò)從大網(wǎng)絡(luò)轉(zhuǎn)化成一個(gè)小網(wǎng)絡(luò)，保留接近于大網(wǎng)絡(luò)的性能的同時(shí)滿足線上運(yùn)行的延遲要求。

原先訓(xùn)練好的類目識(shí)別模型作為teacher網(wǎng)絡(luò)，將teacher網(wǎng)絡(luò)的輸出結(jié)果 作為student網(wǎng)絡(luò)的目標(biāo)，訓(xùn)練student網(wǎng)絡(luò)，使得student網(wǎng)絡(luò)的結(jié)果p接近q ，因此，我們可以將損失函數(shù)寫成:

這里CE是交叉熵（Cross Entropy）,symmetricalKL是對(duì)稱KL散度（Kullback–Leibler divergence），y是真實(shí)標(biāo)簽的one-hot編碼，q是teacher網(wǎng)絡(luò)的輸出結(jié)果，p是student網(wǎng)絡(luò)的輸出結(jié)果。

圖3 知識(shí)蒸餾示意圖

經(jīng)過知識(shí)蒸餾，類目識(shí)別最終仍然可以達(dá)到較高的準(zhǔn)確率和召回率，同時(shí)可以做到整體響應(yīng)時(shí)間的95線為5ms左右。

經(jīng)過類目識(shí)別之后，還需要經(jīng)過實(shí)體鏈接等步驟，完成最終的意圖識(shí)別過程。具體內(nèi)容可以參見??《攜程實(shí)體鏈接技術(shù)的探索及實(shí)踐》??一文，本文不再闡述。

四、 Term Weighting

對(duì)于用戶輸入的搜索詞，不同的term對(duì)于用戶的核心語義訴求有著不同的重要性。在搜索的二次召回排序中需要重點(diǎn)關(guān)注重要性高的term，同時(shí)在丟詞的時(shí)候可以忽略重要性低的term。通過計(jì)算用戶輸入搜索詞的各個(gè)term weight，來二次召回出最接近用戶意圖的產(chǎn)品，提升用戶體驗(yàn)。

首先，我們需要尋找線上用戶真實(shí)的反饋數(shù)據(jù)作為標(biāo)注數(shù)據(jù)。用戶在搜索框的輸入和聯(lián)想詞點(diǎn)擊情況一定程度上反映了用戶對(duì)于搜索短語中詞語的重視程度，因此我們選用聯(lián)想詞輸入和點(diǎn)擊數(shù)據(jù)，加以人工篩選和二次標(biāo)注，作為Term Weighting模型的標(biāo)注數(shù)據(jù)。

在數(shù)據(jù)預(yù)處理方面，我們所能獲得的標(biāo)注數(shù)據(jù)為短語及其對(duì)應(yīng)的關(guān)鍵詞，這里為了使權(quán)重的分配不過于極端，給定非關(guān)鍵詞一定量小的權(quán)重，并將剩余權(quán)重分配給關(guān)鍵詞的每個(gè)字上，如果某一短語在數(shù)據(jù)中出現(xiàn)了復(fù)數(shù)次，且對(duì)應(yīng)的關(guān)鍵詞不同，則會(huì)根據(jù)關(guān)鍵詞的頻率對(duì)這些關(guān)鍵詞的權(quán)重進(jìn)行分配，并進(jìn)一步分配每個(gè)字的權(quán)重。

模型部分主要嘗試BERT作為特征提取的方法，并進(jìn)一步對(duì)每個(gè)term的權(quán)重進(jìn)行擬合。對(duì)于給定的輸入，將其轉(zhuǎn)化為BERT所能接收的形式，將通過BERT后的張量再通過全連接層進(jìn)行壓縮，得到一維的向量后進(jìn)行Softmax處理，并用該向量對(duì)結(jié)果的權(quán)重向量進(jìn)行擬合，具體模型框架如下圖所示：

圖4 Term Weighting模型框架

由于中文BERT基于字符，因此需要將每個(gè)term中的所有字的權(quán)重進(jìn)行求和，從而最終得到term的權(quán)重。

在整個(gè)模型框架中，除去一些訓(xùn)練的超參數(shù)，能調(diào)整的部分主要包含兩個(gè)部分：一是通過BERT產(chǎn)生Embedding時(shí)，可以選擇BERT最后一層，或者綜合BERT的第一層和最后一層的方式產(chǎn)生Embedding；二是在損失函數(shù)的選擇上，除去使用MSE損失衡量預(yù)測(cè)權(quán)重與實(shí)際權(quán)重之間差距之外，也嘗試使用非重要詞的預(yù)測(cè)權(quán)重的和作為損失進(jìn)行計(jì)算，但這種損失更適合只有單個(gè)關(guān)鍵詞的情況使用。

模型最終是以小數(shù)的形式輸出每個(gè)term weight，例如[“上海”、“的”、“迪士尼”]的term weight結(jié)果為[0.3433，0.1218，0.5349]。

該模型是為搜索服務(wù)的，有嚴(yán)格的響應(yīng)速度要求。由于BERT模型整體比較大，在推理部分很難達(dá)到響應(yīng)速度要求，因此類似于類目識(shí)別模型，我們對(duì)訓(xùn)練好的BERT模型進(jìn)行進(jìn)一步的蒸餾處理，以達(dá)到符合線上的要求。在此項(xiàng)目中，通過少數(shù)幾層transformer去擬合BERT-base 12層transformer的效果，最后以損失可以接受的一部分性能的情況下，使得模型整體的推理速度快了10倍左右。最終，Term Weighting線上服務(wù)整體的95線可以達(dá)到2ms左右。

五、 未來與展望

采用深度學(xué)習(xí)后，旅游搜索對(duì)于較為罕見的長尾搜索詞，詞義解析能力有了較大的提升。在目前的線上真實(shí)搜索場(chǎng)景，深度學(xué)習(xí)方法一般選擇與傳統(tǒng)的搜索詞義解析方法相結(jié)合，這樣既可以保證頭部常見搜索詞的性能穩(wěn)定，又可以加強(qiáng)泛化能力。

未來，搜索詞義解析致力于給用戶帶來更好的搜索體驗(yàn)，隨著硬件技術(shù)和AI技術(shù)的更新?lián)Q代，高性能計(jì)算和智能計(jì)算越來越成熟，搜索詞義解析的意圖識(shí)別和Term Weighting未來會(huì)往更高性能的目標(biāo)發(fā)展。此外，更大規(guī)模的預(yù)訓(xùn)練模型和旅游領(lǐng)域的預(yù)訓(xùn)練模型有助于進(jìn)一步提升模型的準(zhǔn)確率和召回率，更多用戶信息和知識(shí)的引入有助于提升意圖識(shí)別的效果，線上用戶的反饋和模型迭代有助于提升Term Weighting的效果。這些都是我們后續(xù)會(huì)嘗試的方向。

除了意圖識(shí)別和Term Weighting之外，搜索的其他功能，比如詞性標(biāo)注、糾錯(cuò)等，在滿足響應(yīng)速度要求的前提下未來也可以采用深度學(xué)習(xí)技術(shù)，來實(shí)現(xiàn)更強(qiáng)大的功能和更優(yōu)秀的效果。