LLM落地淘寶電商搜索場景，顯著提升長尾query改寫效果
LLM是目前學術界研究的熱點，同時工業界也在快速探索LLM在業務中的落地。本篇文章給大家介紹來自WWW24的一篇文章，介紹了淘寶電商將LLM用在了搜索場景中的query改寫上，精心構建的領域特定數據集對LLM進行finetue，定義三種不同的優化目標并使用Preference Rank Optimization損失學習候選之間的偏序關系，極大的解決了長尾query中的“few-recall”問題。
論文標題：Large Language Model based Long-tail Query Rewriting in Taobao Search
下載地址：??https://arxiv.org/pdf/2311.03758??
1、背景介紹
淘寶電商搜索引擎框架如下圖所示。用戶輸入搜索詞之后，平臺先進行語義理解，對用戶query進行改寫，之后對原始詞 + 改寫后的詞召回商品，再經過多層排序后對用戶展現頭部商品。
query改寫的目標是，在保持相關性的同時，對原始query進行語義擴展，可以召回更多相關商品。例如，有兩個搜索詞，"DIY blind box"和"Self_building blind box"。這里前者和后者語義相同，但是前者是主流搜索詞，召回結果有多個。而后者屬于長尾搜索詞，難以召回多個結果。如果將后者改寫為前者，語義保持相同的情況下，召回更多的商品，則在后續的排序流程中更有概率推薦轉化率高的商品，從而提高訂單量 && GMV。
已有的query改寫工作集中在兩個方向：
判別模型：從候選詞集合中預估最優的詞。這種方法依賴于精心構造的詞典作為重寫的候選集合，否則query改寫后語義有可能發生偏移。
生成模型：使用transformer系的模型，根據原始query直接生成改寫詞，有些方法會加入強化學習和對比學習的思路。但是這種方法受限于模型的參數量，參數提升會提升模型的表達能力。目前LLM在query改寫上有一些工作，但由于對沒有使用query改寫特定任務對大模型進行fine-tune，還存在一定的局限性。
2、實現方法
本文提出了BEQUE框架（a comprehensive framework that Bridges the sEmantic gap for long-tail QUEries），框架包含三個階段，如下圖所示：
第一階段 Multi-instruction Supervised Fine Tuning：使用多領域數據集對LLM進行finetune，主要包括Query Rewriting Dataset和輔助數據集2個部分。
Query Rewriting Dataset: 使用基線改寫策略，對原始query取相關性TOPN的改寫query。為了進一步優化數據集相關性，限制原始query和改寫query的相關性必須大于某一閾值。基線改寫策略對長尾query效果不佳，即便原始query和改寫query語義上具有相關性，但是召回的商品集合未必相關。因此使用拒絕負采樣，query和改寫query召回商品后，要求用戶真實交互過的商品數大于一定閾值，來保證和query和改寫query在召回商品集合上的相關性：
輔助數據集：為增強LLM對長尾query的理解能力，使用quality classification，product title prediction，Chainof-thought，三個輔助數據集對LLM進行finetune
第二階段 offline feedback：設計多個函數多角度評估改寫query質量，包括relevance、increment、hitrate等3個評估方法。
relevance：即便原始query和改寫query 語義上具有相關性，但是召回的商品集合未必相關。因此定義相關性指標來衡量改寫前后召回商品的相關性。淘寶離線評估方法用來評估query和召回商品標題的相關性，因此定義改寫query召回商品和原始query的相關性如下：
increment：query改寫可以增加商品召回的數量，解決“few-recall”的問題。因此定義增量指標來衡量query改寫后是否增加了召回商品的數量：
hitrate: 定義命中率指標，如果搜索場景之外成交過的某件商品和原始query相關性大于一定閾值，那query改寫后應盡量召回該商品：
第三階段 object alignment：強制模型學習改寫query之間pairwise的偏序
使用PRO Loss來pair wise地學習改寫query之間的順序：
模型的最終Loss為監督微調的loss + PRO loss
3、實驗結果
模型離線效果如下表所示。從上圖可以看到，與多種基線相比，BEQUE與多種基線相比，在多個測試集上的rele指標略為遜色，在incr/hitrate指標上有極大幅度的提升。
在線應用方面，由于LLM難以滿足在線serving的時效性需求，無法直接在線使用。因此對torso query，離線inference改寫后的query，將改寫前后的query以key-value graph的形式存儲，確保在線及時響應，覆蓋淘寶主搜27%的PV。原始query和改寫query召回的商品取并集進入后續的排序環節。14天在線AB實驗中，在GMV && 訂單量 && UV上都取得了正向效果。
