作者：校婭 沈元 朱迪等

1. 背景

點評搜索是大眾點評App的核心入口之一，用戶通過搜索來滿足不同場景下對生活服務類商戶的找店需求。搜索的長期目標是持續優化搜索體驗，提升用戶的搜索滿意度，這需要我們理解用戶搜索意圖，準確衡量搜索詞與商戶之間的相關程度，盡可能展示相關商戶并將更相關的商戶排序靠前。因此，搜索詞與商戶的相關性計算是點評搜索的重要環節。

大眾點評搜索場景面臨的相關性問題復雜多樣，用戶的搜索詞比較多樣，例如搜索商戶名、菜品、地址、類目以及它們之間的各種復雜組合，同時商戶也有多種類型的信息，包括商戶名、地址信息、團單信息、菜品信息以及其他各種設施和標簽信息等，導致Query與商戶的匹配模式異常復雜，容易滋生出各種各樣的相關性問題。具體來說，可以分為如下幾種類型：

• 文本誤匹配：在搜索時，為保證更多商戶被檢索和曝光，Query可能會被拆分成更細粒度的詞進行檢索，因此會帶來Query錯誤匹配到商戶不同字段的問題，如圖1(a)所示的用戶搜“生蠔火鍋”應該想找湯底中包含生蠔的火鍋，而“生蠔”和“火鍋”分別匹配到商戶的兩個不同菜品。
• 語義偏移：Query與商戶字面匹配，但商戶與Query的主要意圖在語義上不相關，如“奶茶”-“黑糖珍珠奶茶包”，如圖1(b)所示。
• 類目偏移：Query與商戶字面匹配且語義相關，但主營類目與用戶需求不符，例如用戶搜索“水果”時一家提供“果盤”的KTV商戶明顯與用戶的需求不相關。?

(a) 文本誤匹配示例

(b) 語義偏移示例

圖1 點評搜索相關性問題示例

基于字面匹配的相關性方法無法有效應對上述問題，為了解決搜索列表中的各類不符合用戶意圖的不相關問題，需要更準確地刻畫搜索詞與商戶的深度語義相關性。本文在基于美團海量業務語料訓練的MT-BERT預訓練模型的基礎上，在大眾點評搜索場景下優化Query與商戶（POI，對應通用搜索引擎中的Doc）的深度語義相關性模型，并將Query與POI的相關性信息應用在搜索鏈路各環節。

本文將從搜索相關性現有技術綜述、點評搜索相關性計算方案、應用實戰、總結與展望四個方面對點評搜索相關性技術進行介紹。其中點評搜索相關性計算章節將介紹我們如何解決商戶輸入信息構造、使模型適配點評搜索相關性計算及模型上線的性能優化等三項主要挑戰，應用實戰章節將介紹點評搜索相關性模型的離線及線上效果。

2. 搜索相關性現有技術

搜索相關性旨在計算Query和返回Doc之間的相關程度，也就是判斷Doc中的內容是否滿足用戶Query的需求，對應NLP中的語義匹配任務（Semantic Matching）。在大眾點評的搜索場景下，搜索相關性就是計算用戶Query和商戶POI之間的相關程度。

文本匹配方法：早期的文本匹配任務僅考慮了Query與Doc的字面匹配程度，通過TF-IDF、BM25等基于Term的匹配特征來計算相關性。字面匹配相關性線上計算效率較高，但基于Term的關鍵詞匹配泛化性能較差，缺少語義和詞序信息，且無法處理一詞多義或者多詞一義的問題，因此漏匹配和誤匹配現象嚴重。

傳統語義匹配模型：為彌補字面匹配的缺陷，語義匹配模型被提出以更好地理解Query與Doc的語義相關性。傳統的語義匹配模型主要包括基于隱式空間的匹配：將Query和Doc都映射到同一個空間的向量，再用向量距離或相似度作為匹配分，如Partial Least Square（PLS）^[1]；以及基于翻譯模型的匹配：將Doc映射到Query空間后進行匹配或計算Doc翻譯成Query的概率^[2]。

隨著深度學習和預訓練模型的發展，深度語義匹配模型也被業界廣泛應用。深度語義匹配模型從實現方法上分為基于表示（Representation-based）的方法及基于交互（Interaction-based）的方法。預訓練模型作為自然語言處理領域的有效方法，也被廣泛使用在語義匹配任務中。

(a) 基于表示的多域相關性模型

(b) 基于交互的相關性模型

圖2 深度語義匹配相關性模型

基于表示的深度語義匹配模型：基于表示的方法分別學習Query及Doc的語義向量表示，再基于兩個向量計算相似度。微軟的DSSM模型^[3]提出了經典的雙塔結構的文本匹配模型，即分別使用相互獨立的兩個網絡構建Query和Doc的向量表示，用余弦相似度衡量兩個向量的相關程度。微軟Bing搜索的NRM^[4]針對Doc表征問題，除了基礎的Doc標題和內容，還考慮了其他多源信息（每類信息被稱為一個域Field），如外鏈、用戶點擊過的Query等，考慮一個Doc中有多個Field，每個Field內又有多個實例（Instance），每個Instance對應一個文本，如一個Query詞。模型首先學習Instance向量，將所有Instance的表示向量聚合起來就得到一個Field的表示向量，將多個Field的表示向量聚合起來得到最終Doc的向量。SentenceBERT^[5]將預訓練模型BERT引入到雙塔的Query和Doc的編碼層，采用不同的Pooling方式獲取雙塔的句向量，通過點乘、拼接等方式對Query和Doc進行交互。

大眾點評的搜索相關性早期模型就借鑒了NRM和SentenceBERT的思想，采用了圖2(a)所示的基于表示的多域相關性模型結構，基于表示的方法可以將POI的向量提前計算并存入緩存，線上只需計算Query向量與POI向量的交互部分，因此在線上使用時計算速度較快。

基于交互的深度語義匹配模型：基于交互的方法不直接學習Query和Doc的語義表示向量，而是在底層輸入階段就讓Query和Doc進行交互，建立一些基礎的匹配信號，再將基礎匹配信號融合成一個匹配分。ESIM^[6]是預訓練模型引入之前被業界廣泛使用的經典模型，首先對Query和Doc進行編碼得到初始向量，再用Attention機制進行交互加權后與初始向量進行拼接，最終分類得到相關性得分。

引入預訓練模型BERT進行交互計算時，通常將Query和Doc拼接作為BERT句間關系任務的輸入，通過MLP網絡得到最終的相關性得分^[7]，如圖2(b)所示。CEDR^[8]在BERT句間關系任務獲得Query和Doc向量之后，對Query和Doc向量進行拆分，進一步計算Query與Doc的余弦相似矩陣。美團搜索團隊^[9]將基于交互的方法引入美團搜索相關性模型中，引入商戶品類信息進行預訓練，并引入實體識別任務進行多任務學習。美團到店搜索廣告團隊^[10]提出了將基于交互的模型蒸餾到基于表示的模型上的方法，實現雙塔模型的虛擬交互，在保證性能的同時增加Query與POI的交互。

3. 點評搜索相關性計算

基于表示的模型重在表示POI的全局特征，缺乏線上Query與POI的匹配信息，基于交互的方法可以彌補基于表示方法的不足，增強Query和POI的交互，提升模型表達能力，同時，鑒于預訓練模型在文本語義匹配任務上的強勁表現，點評搜索相關性計算確定了基于美團預訓練模型MT-BERT^[11]的交互式方案。將基于預訓練模型的交互式BERT應用在點評搜索場景的相關性任務中時，仍存在諸多挑戰：

• 如何更好地構造POI側模型輸入信息：Doc側模型輸入信息的構造是相關性模型中的重要環節。在通用網頁搜索引擎中，Doc的網頁標題對相關性的判斷極為重要，但在點評搜索場景下，POI信息具有字段多、信息復雜的特點，不存在能提供類似“網頁標題”信息量的字段，每個商戶都通過商戶名、類目、地址、團單、商戶標簽等多種結構化信息來表達。在計算相關性分數時，大量多源商戶信息無法全部輸入到模型中，而僅使用商戶名和類目等基礎信息又會因為信息缺失無法達到滿意的效果，因此如何更好地構造具有豐富信息量的POI側模型輸入是我們要解決的首要問題。
• 如何優化模型來更好地適配點評搜索相關性計算：大眾點評搜索場景中的文本信息與通用的預訓練模型語料信息有一定差異，例如通用語義場景下“開心”和“高興”同義，但在點評搜索的場景下“開心燒烤”和“高興燒烤”卻是兩家完全不同的品牌。同時，Query和POI的相關性判定邏輯與通用NLP場景的語義匹配任務也不完全相同，Query和POI的匹配模式非常復雜，當Query匹配到POI的不同字段時，相關性的判定結果也有所不同，例如Query“水果”匹配到“水果店”商戶類目時相關性較高，而命中KTV的“水果拼盤”標簽時則相關性較弱。因此，相比通用的基于交互的BERT句間關系語義匹配任務，相關性計算還需要關注Query和POI兩部分之間的具體匹配情況。如何優化模型來適配點評搜索的場景，并能處理復雜多樣的相關性判斷邏輯，盡可能地解決各種不相關問題，是我們面臨的主要挑戰。
• 如何解決預訓練相關性模型的在線性能瓶頸：基于表示的模型雖計算速度較快但表達能力有限，基于交互的模型可以增強Query和POI的交互從而提升模型效果，但在線上使用時存在較大的性能瓶頸。因此，在線上使用12層BERT的基于交互的模型時，如何在保證模型計算效果的同時保證整個計算鏈路的性能，使其在線上穩定高效運行，是相關性計算線上應用的最后一道關卡。

經過不斷探索與嘗試，我們針對POI側的復雜多源信息，構造了適配點評搜索場景的POI文本摘要；為了讓模型更好地適配點評搜索相關性計算，采用了兩階段訓練的方法，并根據相關性計算的特點改造了模型結構；最后，通過優化計算流程、引入緩存等措施，成功降低了模型實時計算和整體應用鏈路的耗時，滿足了線上實時計算BERT的性能要求。

3.1 如何更好地構造POI側模型輸入信息

在判定Query與POI的相關程度時，POI側有十幾個參與計算的字段，某些字段下的內容特別多（例如一個商戶可能有上百個推薦菜），因此需要找到合適的方式抽取并組織POI側信息，輸入到相關性模型中。通用搜索引擎（如百度），或常見垂類搜索引擎（如淘寶），其Doc的網頁標題或商品標題信息量豐富，通常是相關性判定過程中Doc側模型輸入的主要內容。

如圖3(a)所示，在通用搜索引擎中，通過搜索結果的標題可以一眼看出對應網站的關鍵信息及是否與Query相關，而在圖3(b)大眾點評App的搜索結果中，僅通過商戶名字段無法得到充足的商戶信息，需要結合商戶類目（奶茶果汁）、用戶推薦菜品（奧利奧利奶茶）、標簽（網紅店）、地址（武林廣場）多個字段才能判斷該商戶與Query“武林廣場網紅奶茶”的相關性。

(a) 通用搜索引擎搜索結果示例

(b) 大眾點評App搜索結果示例

圖3 通用搜索引擎與大眾點評搜索結果對比

標簽抽取是業界比較通用的抽取主題信息的途徑，因此我們首先嘗試了通過商戶標簽來構造POI側模型輸入的方法，根據商戶的評論、基礎信息、菜品、商戶對應的頭部搜索點擊詞等抽取出具有代表性的商戶關鍵詞來作為商戶標簽。在線上使用時，將已抽取的商戶標簽，及商戶名和類目基礎信息一起作為模型的POI側輸入信息，與Query進行交互計算。然而，商戶標簽對商戶信息的覆蓋仍不夠全面，例如用戶搜索菜品“雞蛋羹”時，某個距用戶很近的韓式料理店有雞蛋羹售賣，但該店的招牌菜、頭部點擊詞等均與“雞蛋羹”無關，導致該店所抽取的標簽詞也與“雞蛋羹”相關性較低，因此模型會將該店判斷為不相關，從而對用戶體驗帶來傷害。

為了獲取最全面的POI表征，一種方案是不抽取關鍵詞，直接將商戶的所有字段拼接到模型輸入中，但是這種方式會因為模型輸入長度過長而嚴重影響線上性能，且大量冗余信息也會影響模型表現。

為構造更具信息量的POI側信息作為模型輸入，我們提出了POI匹配字段摘要抽取的方法，即結合線上Query的匹配情況實時抽取POI的匹配字段文本，并構造匹配字段摘要作為POI側模型輸入信息。POI匹配字段摘要抽取流程如圖4所示，我們基于一些文本相似度特征，將與Query最相關且最具信息量的文本字段提取出來，并融合字段類型信息構建成匹配字段摘要。線上使用時，將已抽取的POI匹配字段摘要、商戶名及類目基礎信息一起作為POI側模型輸入。

圖4 POI匹配字段摘要抽取流程在確定POI側模型輸入信息后，我們采用BERT句間關系任務，先用MT-BERT對Query側和POI側匹配字段摘要信息進行編碼，然后使用池化后的句向量計算相關分。采用POI匹配字段摘要的方案構造POI側模型輸入信息后，配合樣本迭代，相比基于標簽的方法，模型的效果有了極大的提升。

3.2 如何優化模型來更好地適配點評搜索相關性計算

讓模型更好地適配點評搜索相關性計算任務包含兩層含義：大眾點評搜索場景下的文本信息與MT-BERT預訓練模型使用的語料在分布上存在著一定的差異；預訓練模型的句間關系任務與Query和POI的相關性任務也略有不同，需要對模型結構進行改造。經過不斷探索，我們采用基于領域數據的兩階段訓練方案，結合訓練樣本構造，使預訓練模型更適配點評搜索場景的相關性任務；并提出了基于多相似矩陣的深度交互相關性模型，加強Query和POI的交互，提升模型對復雜的Query和POI信息的表達能力，優化相關性計算效果。

3.2.1 基于領域數據的兩階段訓練

為了有效利用用戶點擊數據，并使預訓練模型MT-BERT更適配點評搜索相關性任務，我們借鑒百度搜索相關性^[12]的思想，引入多階段訓練方法，采用用戶點擊和負采樣數據進行第一階段領域適配的預訓練（Continual Domain-Adaptive Pre-training），采用人工標注數據進行第二階段訓練（Fine-Tune），模型結構如下圖5所示：

圖5 基于點擊及人工標注數據的兩階段訓練模型結構

基于點擊數據的第一階段訓練

引入點擊數據作為第一階段訓練任務的直接原因是在點評搜索場景下存在著一些特有的問題，例如“開心”和“高興”兩個詞在通用場景下是幾乎完全同義的詞，但是在點評搜索的場景下“開心燒烤”和“高興燒烤”卻是兩家完全不同的品牌商戶，因此點擊數據的引入能夠幫助模型學習到搜索場景下的一些特有知識。但是直接將點擊樣本用于相關性判斷會存在較大噪聲，因為用戶點擊某個商戶可能是由于排序較為靠前導致的誤點擊，而未點擊某個商戶也可能僅僅是因為商戶距離較遠，而并不是因為相關性問題，因此我們引入了多種特征和規則來提高訓練樣本自動標注的準確率。

在構造樣本時，通過統計是否點擊、點擊位次、最大點擊商戶距用戶的距離等特征篩選候選樣本，將曝光點擊率大于一定閾值的Query-POI對作為正例，并根據業務特點對不同類型商戶調整不同的閾值。在負例的構造上，Skip-Above采樣策略將位于點擊商戶之前且點擊率小于閾值的商戶才做為負樣本。此外，隨機負采樣的方式可以為訓練樣本補充簡單負例，但考慮隨機負采樣時也會引入一些噪聲數據，因此我們利用人工設計的規則對訓練數據進行降噪：當Query的類目意圖與POI的類目體系較為一致時或者與POI名高度匹配時，則將其從負樣本中剔除。

基于人工標注數據的第二階段訓練

經過第一階段訓練后，考慮到無法完全清除掉點擊數據中的噪音，以及相關性任務的特點，因此需要引入基于人工標注樣本的第二階段訓練來對模型進行糾偏。除了隨機采樣一部分數據交給人工去標注外，為了盡可能提升模型的能力，我們通過難例挖掘和對比樣本增強方式生產大量高價值樣本交給人工去標注。具體如下：

1）難例挖掘

• 特定類型樣本挖掘：通過設計一種基于Query和POI的特征和兩者的匹配情況來刻畫BadCase類型的方法，自動化從候選數據集中篩選出特定BadCase類型的樣本進行送標。
• 用戶點擊過但線上舊版模型判定為不相關的：該方法可以挖掘出當前線上模型預測錯誤及語義接近的用戶難以區分的難例。
• 邊緣采樣：通過邊緣采樣的方式挖掘具有較高不確定性的樣本，如抽取模型預測得分在閾值附近的樣本。
• 模型或人工識別困難的樣本：用當前模型預測訓練集，將模型預測結果與標注標簽不一致的樣本，及人工標注標簽有沖突的樣本類型重新送標。

2）對比樣本增強：借鑒對比學習的思想，為一些高度匹配的樣本生成對比樣本進行數據增強，并進行人工標注確保樣本標簽的準確率。通過對比樣本之間的差異，模型可以關注到真正有用的信息，同時提升對同義詞的泛化能力，從而得到更好的效果。

• 針對菜品詞較容易出現的跨菜品匹配的相關性問題（例如搜“鵝肝漢堡”匹配到售賣“牛肉漢堡”和“鵝肝壽司”的商家），分別用菜品的各個子成分與推薦菜字段進行匹配，生產大量對比樣本，加強模型對于跨菜品匹配問題的識別能力。
• 針對菜品詞命中推薦菜前綴的問題，通過改造完全匹配到推薦菜的情況（搜“榴蓮蛋糕”匹配到售賣“榴蓮蛋糕”的商家），僅保留搜索詞中的前綴，構造出匹配推薦菜前綴的對比樣本（搜"榴蓮"和售賣"榴蓮蛋糕"的商家），使模型能更好的區分匹配推薦菜前綴時的情況。

圖6 對比樣本增強示例

以跨菜品匹配的相關性問題為例，如上圖6所示，同樣是Query拆開后與商戶的多個推薦菜字段匹配的情況，Query“榴蓮蛋糕”與推薦菜“榴蓮千層、黑森林蛋糕”是相關的，但Query“鵝肝漢堡”與“鐵板鵝肝、芝士牛肉漢堡”是不相關的，為了增強模型對這類高度匹配但結果相反的Case的識別能力，我們構造了“榴蓮蛋糕”與“榴蓮千層”、“鵝肝漢堡”與“鐵板鵝肝”這兩組對比樣本，去掉了與Query在文本上匹配但對模型判斷沒有幫助的信息，讓模型學到真正決定是否相關的關鍵信息，同時提升模型對“蛋糕”和“千層”這類同義詞的泛化能力。類似地，其他類型的難例同樣可以用這種樣本增強方式來提升效果。

3.2.2 基于多相似矩陣的深度交互模型

BERT句間關系是一個通用的NLP任務，用于判斷兩個句子的關系，而相關性任務是計算Query和POI的相關程度。在計算過程中，句間關系任務不僅計算Query與POI的交互，還計算Query內部和POI內部的交互，而相關性計算更關注Query與POI的交互。此外，在模型迭代過程中，我們發現部分類型的困難BadCase對模型的表達能力有更高要求，例如文本高度匹配但不相關的類型。因此，為進一步提升模型對復雜的Query和POI在相關性任務上的計算效果，我們對第二階段訓練中的BERT句間關系任務進行改造，提出了基于多相似矩陣的深度交互模型，通過引入多相似矩陣來對Query和POI進行深度交互，引入indicator矩陣以更好地解決困難BadCase問題，模型結構如下圖7所示：

圖7 基于多相似矩陣的深度交互相關性模型

受CEDR^[8]的啟發，我們將經過MT-BERT編碼后的Query和POI向量進行拆分，用于顯式地計算兩部分的深度交互關系，將Query和POI拆分并進行深度交互，一方面可以專門用于學習Query與POI的相關程度，另一方面，增加的參數量可以提升模型的擬合能力。

參考MatchPyramid^[13]模型，深度交互相關性模型計算了四種不同的Query-Doc相似矩陣并進行融合，包括Indicator、Dot-product、余弦距離及歐氏距離，并與POI部分的輸出進行Attention加權。其中Indicator矩陣用來描述Query與POI的Token是否一致，計算方式如下：

其中代表匹配矩陣的第行列對應的元素，代表Query的第個Token，代表POI的第個Token。由于Indicator矩陣是表示Query與POI是否字面匹配的矩陣，與另外三個語義匹配矩陣的輸入格式不同，Dot-product、余弦距離、歐式距離三個匹配矩陣先進行融合，再將得到的結果與Indicator矩陣進一步融合后再計算最終的相關性得分。

Indicator矩陣可以較好地刻畫Query和POI的匹配關系，該矩陣的引入主要考慮到判定Query和POI相關程度時的一個難點：有時即使文本高度匹配，兩者也不相關。基于交互的BERT模型結構更容易將文本匹配程度高的Query和POI判定為相關，但是在點評搜索場景中，有些難例卻未必如此。比如“豆汁”和“綠豆汁”雖然高度匹配，但并不相關。“貓空”和“貓的天空之城”雖然是拆開匹配，但因為前者是后者的縮寫而相關。因此，將不同的文本匹配情況通過Indicator矩陣直接輸入給模型，讓模型顯式地接收“包含”、“拆開匹配”等文本匹配情況，在幫助模型提升對難例判別能力的同時，也不會影響大部分正常的Case的表現。

基于多相似矩陣的深度交互相關性模型將Query和POI拆分后計算相似矩陣，相當于讓模型對Query和POI進行顯式交互，使模型更加適配相關性任務。多個相似矩陣則增加了模型對Query和POI相關程度計算的表征能力，而Indicator矩陣則是針對相關性任務中復雜的文本匹配情況做的特殊設計，讓模型對不相關結果的判斷更加準確。

3.3 如何解決預訓練相關性模型的在線性能瓶頸

將相關性計算部署在線上時，現有方案通常會采用知識蒸餾的雙塔結構^[10,14]以保證線上計算效率，但此種處理方式或多或少對于模型的效果是有損的。點評搜索相關性計算為保證模型效果，在線上使用了基于交互的12層BERT預訓練相關性模型，需要對每個Query下的數百個POI經過12層BERT的模型預測。為保證線上計算效率，我們從模型實時計算流程和應用鏈路兩個角度出發，通過引入緩存機制、模型預測加速、引入前置黃金規則層、將相關性計算與核心排序并行化等措施優化相關性模型在線上部署時的性能瓶頸，使得12層基于交互的BERT相關性模型在線上穩定高效運行，保證可以支持數百個商戶和Query間的相關性計算。

3.3.1 相關性模型計算流程性能優化

圖8 相關性模型線上計算流程圖

點評搜索相關性模型的線上計算流程如圖8所示，通過緩存機制及TF-Serving模型預測加速來優化模型實時計算的性能。

為有效利用計算資源，模型線上部署引入緩存機制，將高頻Query的相關性得分寫入緩存。后續調用時會優先讀取緩存，若命中緩存則直接輸出打分，未命中緩存的則進行線上實時計算。緩存機制大大節省了計算資源，有效緩解在線計算的性能壓力。

對未命中緩存的Query，將其處理為Query側模型輸入，通過圖4所述的流程獲取每個POI的匹配字段摘要，并處理為POI側模型輸入格式，再調用線上相關性模型輸出相關分。相關性模型部署在TF-Serving上，在模型預測時，采用美團機器學習平臺的模型優化工具ART框架（基于Faster-Transformer^[15]改進）進行加速，在保證精度的同時極大地提高了模型預測速度。

3.3.2 應用鏈路性能優化

圖9 相關性模型在點評搜索鏈路中的應用

相關性模型在搜索鏈路中的應用如上圖9所示，通過引入前置黃金規則、將相關性計算與核心排序層并行化來優化整體搜索鏈路中的性能。

為了進一步對相關性調用鏈路加速，我們引入了前置黃金規則對Query分流，對部分Query通過規則直接輸出相關分，從而緩解模型計算壓力。在黃金規則層中利用文本匹配特征對Query和POI進行判斷，例如，若搜索詞跟商戶名完全一致，則通過黃金規則層直接輸出“相關”的判定，而無需通過相關性模型計算相關分。

在整體計算鏈路中，相關性計算過程與核心排序層進行并發操作，以保證相關性計算對搜索鏈路的整體耗時基本無影響。在應用層，相關性計算被用在搜索鏈路的召回和排序等多個環節。為降低搜索列表的首屏不相關商戶占比，我們將相關分引入到LTR多目標融合排序中進行列表頁排序，并采用多路召回融合策略，利用相關性模型的結果，僅將補充召回路中的相關商戶融合到列表中。

4. 應用實戰

4.1 離線效果

為精準反映模型迭代的離線效果，我們通過多輪人工標注方式構造了一批Benchmark，考慮到當前線上實際使用時主要目標為降低BadCase指標，即對不相關商戶的準確識別，我們采用負例的準確率、召回率、F1值作為衡量指標。經過兩階段訓練、樣本構造及模型迭代帶來的收益如下表1所示：

表1 點評搜索相關性模型迭代離線指標

初始方法（Base）采用Query拼接POI匹配字段摘要信息的BERT句對分類任務，Query側模型輸入采用用戶輸入的原始Query，POI側采用商戶名、商戶類目及匹配字段摘要文本拼接方式。引入基于點擊數據的兩階段訓練后，負例F1指標相比Base方法提升1.84%，通過引入對比樣本、難例樣本持續迭代訓練樣本并配合第二階段的模型輸入構造，負例F1相比Base顯著提升10.35%，引入基于多相似矩陣的深度交互方法后，負例F1相比Base提升11.14%。模型在Benchmark上的整體指標也達到了AUC為0.96，F1為0.97的高值。

4.2 線上效果

為有效衡量用戶搜索滿意度，點評搜索每天對線上實際流量進行抽樣并人工標注，采用列表頁首屏BadCase率作為相關性模型效果評估的核心指標。相關性模型上線后，點評搜索的月平均BadCase率指標相比上線前顯著下降了2.9pp（Percentage Point，百分比絕對點），并在后續幾周BadCase率指標穩定在低點附近，同時，搜索列表頁的NDCG指標穩定提升2pp。可以看出相關性模型可以有效識別不相關商戶，顯著降低了搜索的首屏不相關性問題占比，從而提升了用戶的搜索體驗。

下圖10列舉了部分線上BadCase解決示例，小標題是該示例對應的Query，左邊為應用了相關性模型的實驗組，右邊為對照組。圖10(a)中當搜索詞為“佩姐”時，相關性模型將商戶核心詞包含“佩姐”的商戶“佩姐名品”判斷為相關，并將用戶可能想找但輸錯的高質目標商戶“珮姐老火鍋”也判斷為相關，同時，通過引入地址字段標識，將地址中位于“珮姐”旁邊的商戶判斷為不相關；圖10(b)中用戶通過Query“柚子日料自助”想找一家名為“柚子”的日料自助店，相關性模型將拆詞匹配到有柚子相關商品售賣的日料自助店“竹若金槍魚”正確判斷為不相關并將其排序靠后，保證展示在靠前的均為更符合用戶主要需求的商戶。

(a) 佩姐

(b) 柚子日料自助圖10 線上BadCase解決示例

5. 總結與展望

本文介紹了大眾點評搜索相關性模型的技術方案及應用實戰。為了更好地構造商戶側模型輸入信息，我們引入了實時抽取商戶匹配字段摘要文本的方法來構造商戶表征作為模型輸入；為了優化模型來更好地適配點評搜索相關性計算，使用了兩階段訓練的方式，采用基于點擊和人工標注數據的兩階段訓練方案來有效利用大眾點評的用戶點擊數據，并根據相關性計算的特點提出了基于多相似矩陣的深度交互結構，進一步提升相關性模型的效果；為緩解相關性模型的線上計算壓力，在線上部署時引入緩存機制和TF-Serving預測加速，引入黃金規則層對Query分流，將相關性計算與核心排序層并行化，從而滿足了線上實時計算BERT的性能要求。通過將相關性模型應用在搜索鏈路各環節，顯著降低了不相關問題占比，有效改善了用戶的搜索體驗。

目前，點評搜索相關性模型在模型表現及線上應用上仍有提升空間，在模型結構方面，我們將探索更多領域先驗知識的引入方式，例如識別Query中實體類型的多任務學習、融入外部知識優化模型的輸入等；在實際應用方面，將進一步細化為更多檔位，以滿足用戶對于精細化找店的需求。我們還會嘗試將相關性的能力應用到非商戶模塊中，優化整個搜索列表的搜索體驗。

6. 作者簡介

校婭*、沈元*、朱迪、湯彪、張弓等，均來自美團/點評事業部搜索技術中心。*為本文共同一作。