一、背景和問題

傳統的推薦模型網絡參數效果較小(不包括embedding參數)，訓練和推理的時間、空間開銷較小，也能充分利用用戶-物品的協同信號。但是它的缺陷是只能利用數據集內的知識，難以應用open domain 的知識，缺乏此類語義信息和深度推理的能力。

大語言模型從這幾個角度來看，正好跟推薦模型有一定取長補短的能力。它能夠引入外部知識，能夠有跨域的能力，但是它沒有推薦場景下所需要的協同信號，另外它的計算成本（不管是訓練還是推理）都非常高。

本次報告會嘗試解答推薦模型和大模型如何取長補短。具體分兩個角度：

• 在整個推薦流程中，可以在哪些地方運用大模型？
• 如何運用大模型？

本文視角是將大模型引入傳統的推薦流程來做一些輔助，當然以 LLM 作為backbone 也是另外一個非常值得探索的方向。本次報告中關于現有工作的調研分析也可以從我們的綜述里找到："How Can Recommender Systems Benefit from Large Language Models: A Survey"。

二、何處運用大語言模型（Where）

首先來解答第一個問題，在推薦系統流程中的何處運用大語言模型。

傳統的推薦流程包括：數據采集，特征工程，特征編碼，打分排序，還有整個的流程控制。上圖中列出了近期（從2021年開始）的將大語言模型用于推薦系統相關工作。下面我會在每個流程中選擇一個代表性工作進行介紹，讓大家感受LLM在推薦流程中的作用。

特征工程主要聚焦于三方面：一是用戶畫像，是對于用戶側的理解；第二是物品畫像，是對于物品內容的理解；第三是樣本的擴充。已經有不同工作用 LLM 來對它們進行增強。

該工作（GENRE）在新聞推薦的場景下，用 LLM 構造了三個不同的prompts，分別來進行新聞摘要的改寫，用戶畫像的構建，還有樣本增強。

首先可以看到它把新聞的title， abstract 還有category 當作輸入，然后要求大語言模型來生成一個摘要，把這個摘要當作這個新聞的 new feature輸入下游。

然后是用戶畫像，根據用戶過去觀看過的新聞的標題，嘗試去問大語言模型是否知道這個用戶的一些感興趣的topic，也就是用戶的喜好和他所在的位置。

另外，因為有一些用戶看過的新聞非常少，所以用大語言模型來做一些樣本的擴充。這里是把用戶看過的一些新聞的category，還有 title 輸入到大語言模型里面去，希望大語言模型能夠根據他看過的這些新聞，生成出來一些用戶并沒有看過，但可能感興趣的“偽新聞”，然后把這些“偽”交互數據也當作訓練集的一部分來進行訓練。

實驗表明這些手段都可以增強原始推薦的效果。

第二部分是用語言模型來做特征編碼，豐富語義信息。這里的語言模型其實都不大，類似于 Bert ，因為它要內嵌進推薦模型一起去訓練和推理，在實時性要求比較高和海量訓練樣本的情況下，語言模型的大小不會大。這里就聚焦在兩塊，一是如何用語言模型來豐富用戶特征的表征，二是如何用語言模型來豐富物品特征的表征。

U-BERT這個工作是用語言模型做用戶特征表示，把用戶寫過的 review 信息經過一個類似 Bert 的結構編碼出來。這個用戶的 encoder 里的另一塊輸入是用戶原始的 ID embedding，加上當前推薦 domain 的 embedding 這兩部分，與用戶review信息的編碼一起形成用戶的個性化表征，然后送到下游的推薦任務里面去。

UniSRec這個工作使用語言模型做物品特征表示，把物品的 title 描述通過類似 Bert 的結構編碼之后，得到物品文本信息的編碼。之后經過一個預訓練階段，通過構建兩個對比學習任務，將用戶-物品的序列信息加入到物品的文本表征中。

第一個對比任務是把所有的用戶，在不同場景下的不同類型的歷史行為（如瀏覽、點擊、下載等），全部拼成一個很長的序列，然后在這個序列里面做類似于 next token prediction 的任務；另一個對比任務就是sequence to sequence 的對比任務，從一個 sequence 里面通過 mask 或者采樣的方式采樣出來多個sequences。如果兩個 sequence 是從同一個原始 sequence 里構造出來的，就是一對正例，否則就是負例。

通過這種預訓練的方式，把序列信息和文本信息 encode 到一起，到了下游某一個具體場景做推薦的時候，做進一步基于next item prediction的fine tuning。

打分和排序階段可以分成以下三種不同的任務，第一種是直接給 item 來進行打分；第二種是物品生成任務，直接生成用戶感興趣的下一個物品或者物品列表；第三種混合任務，用多任務的方法來建模。

這是一個發表在今年的 arxiv 上的工作，它是分別在三個不同的場景下直接用語言模型來進行打分，三個場景分別是 Zero shot、Few shot和微調。

Zero shot 場景，構造的prompt包括用戶的歷史行為包括觀看的電影名稱，題材和歷史打分。給出某一電影的名字和題材，詢問大語言模型，用戶會給這部電影打多少分。

Few shot跟 Zero shot 形式略有不同，但大體思想一樣，只不過是給出了一些打分的例子，把這些question和answer的pair也注入到prompt中去。

第三個場景就是微調的場景，不僅把用戶-電影的交互數據當作prompt的一部分，而且通過實際分數和預測分數的殘差去更新模型。這個工作提出了利用多任務的架構，一邊做回歸任務，一邊是做多分類的任務，然后這兩個loss合并后更新模型。在實驗里面看到微調的方法比 Zero shot 和Few shot 效果要好很多。

下面一個工作是直接進行物品生成推薦。它把整個推薦任務拆成了兩部分，第一部分是來做用戶畫像的生成，把用戶所有看過的電影全部輸入當作input，然后 output 是問這個用戶喜歡什么類型的電影；第二部分把第一部分的用戶畫像當作 prompt 的一部分輸進去，同時把歷史交互過的電影和待推薦候選集也輸入給大語言模型，用大語言模型來生成推薦列表。

大家可以思考一下為什么要把看似是一體的推薦任務拆成兩部分？其實一個原因是因為通過這種拆解能夠把它認為推薦系統里面最重要的一部分提示大語言模型。用LLM進行一步到位的推薦效果很有可能是不好的，因此用比較直接的方式來提示大語言模型來分步進行。第一步把用戶畫像輸出來，然后顯式地輸入到第二步的商品推薦的 prompt 里面去，這樣可能會達到更好的效果。這也提供了一個LLM做推薦的思路，有點類似于思維鏈。做推薦不一定要一步到位，因為推薦的過程還是比較復雜的，可以用人為的經驗來設計拆解成多步。

拆解成多步帶來的弊端就是對大語言模型的請求量增加了，本來請求一次，現在變成請求兩次，未來還可能請求多次。

下一個工作是P5，其實跟 M6-Rec 相似，里面具體的技術細節不一樣，但是想做的事情其實是一樣的，用一個統一的大語言模型在不同的推薦任務上構造不同的prompt，然后用SFT 來進行不同下游任務的微調。

谷歌提出的工作是把大語言模型當作一個流程進行對話式推薦的框架。核心組件在 Dialog manager 這里，用一個大語言模型來調用其他的模塊，這里面可能有ranker，可能用一個LLM來構造一個 user simulator或其他用戶畫像的構建，其他的模塊可以用大語言模型，也可不用大語言模型。它的工作就是構造了這樣一個流程和框架，用大語言模型作為核心調度來解一個比較復雜的對話式推薦任務。

通過這一章節的介紹可以看到，大語言模型在推薦的各個階段有一些工作，比如特征工程如何構造，如何豐富 user 和item 特征，構造數據；還有 feature encoding也可以用語言模型，雖然現階段還沒用到很大的語言模型強化表達；另外，在打分模塊里可以用直接打分或者生成式來推薦，或者是一種混合式的任務；最后，還可以把大語言模型當做一個調度器來進行調度。

三、如何運用大語言模型（How）

接下來分享如何運用大語言模型。

我們對現有基于語言模型的推薦工作進行了分類（數據截至6月底，后面會持續更新）。這里的x 軸表示在訓練階段大語言模型是否經過了微調，左側是大語言模型不需要微調的工作，右側是需要微調的。y 軸是推理階段是否完全用大語言模型、拋棄了傳統推薦模型。在y 軸的上半部分是依然需要推薦模型來進行輔助，下半部分是完全把推薦模型摒棄掉，用大語言模型來搞定推薦系統的推理。這里的顏色代表每篇 paper 里面對比的 baseline 是什么？顏色越冷，說明能夠擊敗的 baseline 越弱。顏色越暖，說明能夠擊敗的 baseline 越強。

這里可以看到第三象限的顏色是比較冷的，第三象限是訓練階段LLM不微調、推理階段不用推薦模型，把LLM當作API去調用，完全走 prompt 的路線，從模型的名字可以看出來有很多帶有ChatGPT 或者 GPT 這種單詞，它們的效果其實是有待提升的，效果要弱于其他三個象限的工作。X軸左側的模型大小普遍是比較大的，左側的工作中LLM是不微調而直接當作API來調用的，所以可以用一些比較大的模型來做，一旦涉及到大模型微調訓練，因為資源的原因模型瞬間就小下去了。

從時間來看，第一象限實際上就是很多年前已經開始做的，用 Bert 來做一些 user 和item 的encoding。最近 ChatGPT 出來之后有很多的工作直接來探索怎么用 ChatGPT 來做推薦。一些探索性的工作直接從第一象限插到了第三象限，但是它的效果是有待提升的。之后出現了兩個明顯的趨勢，其核心就是既然直接用大語言模型無法做好推薦，那就想辦法把推薦的信號加進來。第一個趨勢是大語言模型依然不微調，通過模型的方式來進行補救，加入了推薦模型，主要的工作在第二象限；另一個趨勢是在第四象限，認為大語言模型單獨可以做推薦，把推薦的信號加進去做微調。也許未來這兩個路線又可以重新回歸到第一個象限。這個圖是嘗試把現在 基于LLM的推薦模型 進行分類，后面也會持續更新該工作。當前survey比較偏應用視角，大家也可以關注下其它偏技術視角的工作。

介紹兩個本團隊做的工作，也是比較初步的探索。上圖的工作屬于第二象限，用大語言模型做API，不微調大語言模型，最終的推薦還是由傳統的推薦模型來做。一句話概括這個工作就是用大語言模型來加強用戶畫像和物品畫像的生成。

推薦系統是由封閉的訓練集訓練得到，相當于在一個小房子里；雖然多場景跨域推薦有一定遷移能力，但是還是相當于封閉在一個別墅中的多個小房子里。我們依然需要一條路來聯通這棟別墅和外界。而大語言模型具有比較強的推理能力和對于世界知識的建模能力，非常適合當作聯通小別墅和外部世界的路，這條路在這個工作里就是來做用戶畫像和物品畫像。但如果直接用大語言模型，不加任何引導還是有問題的，因為用戶的偏好比較復雜且多面，這個世界的知識也是海量的。對于一些數據集，用戶 feature 和物品 feature 不那么豐富的時候，語言模型可以補充很多信息，但依然會帶來很多噪音。

舉例來說，之前介紹過做用戶畫像的工作生成的兩個 feature ：一是用戶的興趣；另一個是用戶地域。如果我們要做電影推薦，用戶興趣是跟電影推薦相關的，但是用戶地域信息可能跟這個任務沒有多大關系，甚至有可能是噪音信息，那么對于這個 user feature 可能就沒有必要生成。

所以本團隊提出來用LLM生成用戶畫像和物品畫像，需要構造關鍵子因素，需要LLM來幫我們生成一些用戶畫像和物品畫像要聚焦在在這些關鍵子因素上，不要偏離得太遠。這個關鍵子因素是跟推薦場景相關的，對于電影推薦、商品推薦和視頻推薦，關鍵子因素是不同的。

接下來的問題就變成了如何構造關鍵子因素。一是可以人工指定關鍵子因素，但我們也發現了另外一種比較自動的方法，就是去問大語言模型。比如一個電影推薦場景，能否告訴我 10 個最重要的影響推薦的因素是什么，feature 是什么，大語言模型可以告訴我是題材、演員、導演等等。換一個其它的推薦場景，大語言模型依然可以輸出，人工再檢查一遍，查漏補缺把關鍵的子因素定下來，然后把這些關鍵的子因素輸回到下一步 user feature 和 item feature 的prompt 里面去。

把不同的 factor 輸進去之后，prompt 就會引導大語言模型，不僅要擴展出我需要的信息，還要盡量focus 在現在需要的電影推薦場景。那么大語言模型的輸出就會比較聚焦在這里。item也是同樣的，通過問問題，比如告訴我用戶的興趣是什么。這個問題是很 general 的，把這個問題分解到多個關鍵子因素上去，使得回答能夠更加聚焦在domain specific 的關鍵子問題上面。

第一步先構造這些關鍵子因素，并將它們加入構造用戶畫像和物品畫像的prompt中，輸入大語言模型，得到一些用戶和物品的畫像信息，輸出到 knowledge encoder 里面去，這里可以用一些相對不那么大的模型去進行encode， 得到關于用戶和物品的語義表達。最終希望把這兩個表達當作兩組額外的 feature 加到傳統的推薦模型里來，這個傳統的推薦模型可以是任意的模型。

從工業視角出發，我們覺得這是一個可上線的方案。因為第一階段可以放在離線來生成，可以把用戶的長期行為輸入LLM生成用戶畫像，這個過程比較耗時、耗資源，可以一周跑一次，看團隊的資源情況。將生成的用戶畫像和物品畫像的文本存在內存數據庫中。甚至，我們可以將Reasoning Augmented Vector和Fact Augmented Vector存下來，就更節省計算資源，這兩個向量輸入后端的推薦模型。這個工作已經公開在ArXiv上，該版本里我們只做了一個公開數據集的實驗，現在也在做更多的數據集來進行下一個版本的補充。可以看到這個用戶畫像和物品畫像的生成過程作為一個通用模塊，可以作用在很多不同的 backbone 上，加入了k AR 模塊之后， AUC 和LogLoss的提升還是非常明顯的。

對于可落地性，基于大語言模型推理生成可以放到離線來做，如果將LLM當作API去調用，花費時間較多，但是如果將LLM生成的用戶畫像和物品畫像經過編碼之后的向量存入數據庫中，并在推理的適合實時去取，時間復雜度會大大降低。我們也和其它一些預訓練模型進行了比較，我們的效果也是比較好的。

我們還做了一組ablation study，同時對用戶和物品進行特征增強，或者只做其中一邊，baseline 是完全不做，可以看到呈階梯式的上升。如果用戶畫像和物品畫像只能做一個，那么增強用戶側特征的效果好于物品側，兩側都做的效果最好。

總結一下這項工作，把大語言模型當作用戶畫像和商品畫像的補充，但是如果向LLM問比較general、na?ve的問題，效果并不好，而是需要構造一些關鍵子因素，讓補充出來的文本更加適配當前的推薦場景。生成的文本信息經過text encoder轉化成向量，然后再經過 knowledge Adapter，將剛才生成的向量從語義空間映射到推薦空間。

第二個工作叫CTRL，位于第一個象限。用語言模型和推薦模型協同，并在訓練階段也會去微調語言模型。現階段語言模型并不是很大，我們現在也在嘗試用更大的語言模型。

這里把推薦系統的信息看作兩個模態，第一個是表格模態或者協同模態（傳統的推薦模型聚焦于這個模態），第二個是本文模態（大語言模型聚焦于這個模態），這兩個模態可以用對齊方進行模態對齊，提升效果。首先我們把通過構造不同的prompt來將協同模態數據轉化為本文數據模態。比如一條樣本是：一個年齡為 18 歲的女性，是一名醫生，過去看過某些電影，然后判斷另外一部電影她是否會觀看。把這樣一個推薦問題轉化成一個文本描述，將協同模態和文本模態輸入到兩個不同的模型里面去，一個是傳統的推薦模型，另外一個是文本模型（我們用BERT、ChatGLM進行嘗試）。把文本信息輸進去之后，通過一個語言模型encoder將訓練樣本的文本編碼成向量，然后通過細粒度對比學習的方法將兩個模態編碼的信息進行對比。期望通過這種方式把預訓練語言模型里的一些世界知識和語義信息，傳遞到協同過濾模型里的 embedding 里面去。

進行對比學習后，我們進入下一階段，單獨用協同模型，在一個特定的場景下做SFT，這樣協同模型中embedding 里面已經有了一些語義信息，再把這些推薦的信號加進去，期望能夠取得一個比較好的效果。

我們在三個不同的數據集上做了實驗，包括MovieLens、Amazon，還有阿里巴巴。兩組對比的baseline模型，一個是完全用協同模型，一個完全用語義模型。我們的模型精度比這兩組baseline都有比較明顯的提升。另一方面，由于我們在推理的時候只用協同模型，因此推理時延并不增加。我們在華為的一個工業數據集上進行了離線實驗，也得到一個比較好的效果，現在正在做一些線上的部署。

四、挑戰和展望

最后來看一下工業應用場景下的挑戰，以及對未來工作的展望。

第一個大的挑戰是訓練效率。可能的解決方案是一些參數的高效微調，以及降低更新頻率（利用推薦的協同模型來提升實時性）。

第二個問題是推理時延過高，也正是因為這個原因，前面介紹的兩個工作沒有在推理階段引入LLM，而是把它的一部分結果進行預存，或者是用類似于蒸餾或者對比的方法，避免在推理階段引入LLM。也可以用量化、蒸餾的方法來進行模型小型化部署。另外，可以避免把它用來做排序或者打分，僅作為特征工程或編碼，避免直接在線上做模型推理。

第三個挑戰是推薦領域的長文本建模。現在的解決方案是前面接一個召回模型或者粗排模型，把候選集聚焦到只有 10 個、 20 個或者 100 個范圍內，再送入LLM。未來也有可能處理更長的文本這樣可以面向更大的候選集的直接排序或打分。

最后，在推薦系統里面ID 類的特征依然是非常重要的。現在對于語言模型來說， ID 類特征的建模實際上做得并不是很好。有一篇paper做了一個探索，根據語義信息把 物品進行聚類，然后根據語義聚類的結果進行重新編碼，這是一個非常好的思路。

回顧一下全文，從應用視角出發，以推薦系統為核心，分析了兩個核心問題：整個推薦流程里面哪里可以用到大語言模型，大語言模型與推薦模型是如何配合的。

展望未來的發展，第一個趨勢是LLM已經從傳統的編碼器和打分器在逐步外延，外延到特征工程、一些神經網絡的設計，甚至是流程的控制。第二個趨勢是純用 LLM 不 微調從現在的實驗結果來看效果不佳，如果要達到一個比較好的推薦效果，有兩條路，一是微調大語言模型，另一個是用傳統語言模型來進行融合。

未來大語言模型用在推薦里有如下幾個可以發力的場景：

第一個就是冷啟動和長尾問題；

第二個是引入外部知識，現在引入外部知識的手段還比較粗糙，就是把大語言模型拿來生成，其實純用語言模型也沒有很多外部知識。相反，語言模型也需要外部的知識，比如它需要集成一些檢索能力，需要集成一些工具調用的能力。現在我們只用了基礎的語言模型，并沒有用它的檢索和工具調用的能力。未來能夠更加高效地、更加完備地引入更多的外部知識，通過檢索或者工具的方式，也是提升推薦體驗的一個方向。

第三個改善交互體驗，讓用戶可以主動通過交互時界面自由地描述其需求，從而實現精準推薦。

五、Q&A

Q1：預訓練 LLM 需要大規模語料，推薦系統的公開數據集可以支撐 LLM 的預訓練嗎？

A1：現在來看，訓練 LLM 需要海量語料，公開數據集從量級來說不可能支撐 LLM 來進行預訓練，比較實現的方案是基于一個已經預訓練好的LLM，用公開數據集做第一階段的SFT，之后可以基于我們自己的推薦場景來做第二階段的SFT。

Q2：圖與語言模型做推薦本質上區別是什么？

A2：圖更多強調的是不同節點之間的結構，但是它對外部知識的利用還是不充分的。比如構造一個知識圖譜，也是某一個垂域的知識圖譜，不可能構造一個世界級別的知識圖譜，但是語言模型在某種程度上可以把世界知識構建進來。