LLM在轉轉主搜向量召回的應用
一、引言
在多品類快速發展的背景下,平臺有意地引導或用戶心智的改變,使得用戶進行N品類搜索次數顯著升高,但N品類多數擁有一批核心玩家,他們之間又有更隱蔽的術語表達。不同于1+4品類成熟的商品標題和類目體系,N品類的商品標準化仍在起步階段,導致流量的增多反而帶來了更多的少無結果query。
究其原因,ES搜索引擎所使用的文本硬匹配技術是簡單的文字匹配,我們的搜索詞必須一字不差的在商品描述里出現,ES才能進行商品召回,這是一種最為保守的召回方法,但是用在N品類會引發一些問題。N品類多數為核心玩家,他們對N有自己的表達方式,比如相機,我們不懂相機的搜索詞可能是佳能,索尼等,而這些這些核心玩家,他們搜索更多的是小痰盂等昵稱,從而導致此類query無商品召回,也就沒有流量效率。搜索在N品類發力的關鍵便是意圖理解-擴召回,指標上表現為少召回率。
二、破局思路:不造大模型,只做精準賦能
面對N品類的多元搜索需求,直接研發大模型不僅周期長、資源成本高,還難以適配搜索場景的高頻迭代;而傳統機器學習模型,又無法突破 “語義理解” 的技術瓶頸。
我們果斷拒絕技術堆砌,選擇以“中小型領域模型+極小任務模型”的敏捷路線,核心邏輯不是“為用大模型而用大模型”,而是“用對技術解決真問題”。這一務實選擇很快迎來驗證:當我們將轉轉私域交易數據注入基礎模型后,即便線上日志中幾乎沒有汽車領域數據,模型仍能精準識別 “蔚來、理想是新能源汽車品牌,大眾以燃油車為主”。這種超越字面的語義理解能力,正是破解N品類搜索難題的核心鑰匙。
三、技術深潛:向量召回的主流程落地
為平衡 “語義理解深度” 與 “搜索低延遲要求”,我們設計了 “離線訓練 - 在線推理” 雙階段架構,實現技術效果與工程效率的雙向兼顧。
3.1、架構總覽:大模型訓小模型的效率密碼

- 離線端核心邏輯:用大模型打磨 “語義理解能力”,再通過知識蒸餾將能力遷移到輕量級模型,解決大模型推理成本高的問題
- 在線端核心邏輯:用戶發起搜索后,實時生成query語義向量,通過Faiss庫完成近似最近鄰檢索,快速召回匹配商品
3.2、知識注入 - 讓模型懂“轉轉黑話”
高質量數據是模型的 “核心養料”。我們從用戶支付日志中篩選出30萬左右優質query-商品對(支付行為直接保證了 “搜索意圖和商品匹配” 的真實性與相關性),通過兩大動作完成私域知識注入:
(1)Post Training 任務設計
核心是讓模型模擬 “真實搜索場景”:給定用戶搜索詞 “小痰盂”,讓模型生成對應的商品標題 “佳能 EF 50mm f/1.8 鏡頭 小痰盂”。通過這一過程,模型主動學習二手交易場景下的 “術語 - 商品” 關聯規則,比如 “小痰盂” 與特定鏡頭型號的綁定關系。
(2)LoRA 輕量微調


3.3、領域任務微調 —— 讓向量 “辨得清”
為解決“相似術語易混淆”的問題(比如“iPhone 13”和“iPhone 13 Pro”),我們設計了 “硬負樣本 + 對比學習”的組合方案:
- 樣本篩選策略:正樣本選 “query 類目與商品類目完全匹配” 的商品;hard負樣本挑 “形近神遠” 的同類目差異商品(如 “iPhone 13” 對應 “iPhone 13 Pro”);easy負樣本選跨類目商品(如 “iPhone 13” 對應 “華為 Mate 50”),二者按1:1配比構建成負樣本。
- 模型訓練邏輯:基于Qwen2.5-7B模型做對比學習,Loss選擇InfoNCE,InfoNCE loss通過最大化查詢與正例樣本的相似度、最小化與負例的相似度,增強向量空間的判別能力。即通過優化向量空間距離,讓 “小痰盂” 與佳能 50mm 鏡頭的向量更接近,與其他鏡頭、非鏡頭商品的向量更遠。

3.4 知識蒸餾 —— 讓小模型有 “大能力”
大模型雖能精準理解語義,但推理速度慢、部署成本高,無法滿足搜索場景實時響應的要求。我們通過知識蒸餾將qwen2.5-7B的能力遷移到Bert上,從而實現 “能力遷移”:
1.軟標簽傳遞:讓 Teacher 大模型生成 “帶概率的軟標簽”,比如“小痰盂”匹配“佳能 EF 50mm 鏡頭”的相似度為0.9、匹配“尼康 50mm 鏡頭”的相似度為0.3、匹配“相機背包”的概率0.1,這種“非黑即白”硬標簽所沒有的細節,能讓小模型捕捉術語與商品的關聯強度差異。

3.工程效果:蒸餾后的小模型體積壓縮至原大模型的1/60,推理速度提升N倍,核心語義匹配性能基本不變,完全滿足線上實時搜索需求
4、總結
本項目不僅在線上運行時未帶來顯著的壓力,還顯著提升了主搜對用戶意圖的理解能力,特別是在識別用戶的核心購買意圖方面。通過優化向量召回和,我們在商品召回的全面性和商列篩選的精準性上都取得了顯著進步。
重要的是,這些成果驗證了我們方法論的正確性和可持續性。我們通過對模型的微調與蒸餾,成功實現了正向反饋。搜索意圖識別的改進不僅是全局效果提升的一個標志,也證明了結合大模型的強大泛化能力和知識儲備,以及小模型的高效靈活性,可以在有限的算力資源下實現AI在特定任務中的應用價值提升。這一成就為我們未來在更多領域應用AI技術提供了堅實的基礎和明確的方向。
關于作者:白朋輝,轉轉算法工程師,主要負責意圖理解,大模型在搜索落地的相關工作。



































