本文將分享淘寶個性化推薦場景中關于自適應和無監督的多場景建模的思考及實踐。這項工作發表在2022年CIKM上（論文題目: Scenario-Adaptive and Self-Supervised Model for Multi-Scenario Personalized Recommendation）。文中將介紹多場景建模是如何細粒度地刻畫全域場景和單場景的遷移關系來實現領域自適應，以及如何在多場景建模中引入無監督數據，還將介紹多場景建模在推薦召回階段的落地實踐。

一、背景介紹和方案動機

首先介紹多場景建模的業務背景、建模動機以及方案選型。本文將聚焦于推薦系統的多場景建模問題，這也是目前各個推薦系統普遍存在且亟待解決的問題。具體圍繞 5 個問題進行介紹。

1、問題一：什么是多場景

可以從業務視角和模型視角分別進行解釋。從業務視角來看，“場景”可以簡單地理解為推薦平臺上不同的推薦入口或者推薦承載頁面。舉例來說，比如在廣告領域中，相同的廣告可以在不同的媒體端進行投放，同時又可以對應不同的投放形式，比如信息流形式的廣告，或者開屏廣告。在電商領域中，也會有非常豐富的推薦投放頁面，以淘寶為例，有首頁猜你喜歡的商品推薦界面、購物車內的推薦場景以及商品詳情頁上的相關推薦等場景。在內容推薦領域，比如我們的實際業務 -- 淘寶逛逛，推薦頁面包含了一跳的雙列展示場景，以及點擊進入二跳后上下滑的沉浸式的無盡流的推薦等形式。在這些例子當中，每一個承載的頁面都可以作為一個場景，而同樣一個推薦平臺也會有多種推薦場景，呈現出多場景的特點。

從模型建模的視角來看，多場景問題可以簡單的定義為共享同樣的特征空間和 label 空間，但是數據分布不同的多個數據集合。每一個推薦場景里記錄的數據都可以構成對應的數據集合，盡管每個數據集合有不同的來源，但是他們的特征體系以及 label 空間是一致的。 

2、問題二：多場景的特點

?第一點，流量重疊，從用戶的角度出發，對于同一個用戶，他在一個推薦產品或者一個推薦系統中是可以訪問到不同的場景的，并且在多個場景中會留下相應的瀏覽、點擊等一些交互行為。

第二點，供給重疊，不管是廣告、商品還是內容的投放，都可以投放到不同場景并在不同場景展現。

第三點，場景間的分布差異，從行為模式上，同一個用戶訪問了多個不同的場景，而該用戶在場景當中的行為可能是不一樣的；同樣的，從供給的角度看，對于同一個廣告、商品或者內容，它在不同的場景上面的投放所展現出的曝光表現以及互動表現也是不一樣的。因此在數據分布上，不同場景之間是存在差異的。因此， 我們現在面臨的多場景推薦問題，集中體現了對場景共性和特性的刻畫：用戶可能具有可延續的興趣，但在不同場景下的表現形式可能是不同的。

第四點，場景間的特征空間以及目標是一致的，不同場景之間更多反映的是在數據分布上的差異，而在特征體系上其實是相對一致的。另外，場景間的 label 空間是一樣的，也就是說在多個場景之間建模的任務其實是相同的。比如在商品場景上建模點擊的任務，或者是在內容場景上建模完播或者長播等類型的任務。?

3、問題三：多場景建模的目標

?結合具體的業務背景，我們希望通過多場景問題的建模來重點實現以下兩個方面的目標。

第一個是在效果上的目標，重點優化數據稀疏的問題。單一推薦場景通常面臨用戶行為數據比較稀疏的問題，而這種現象在一些小場景或者新場景上表現得尤其明顯。多場景問題其中一個重要目標就是希望能夠通過多個場景之間的信息共享去緩解數據稀疏的問題，提升所有場景的業務指標。

第二個是在迭代及運維成本上的目標，傳統的優化方式是針對每一個場景分配專門的人員去維護并優化獨立的模型，而當一些新的場景接入時，可能又需要重復整個接入流程以及模型訓練過程。這樣就相當于所有的人員分配、模型部署工作以及維護成本都是和場景的數量呈正相關的，這會導致整個維護成本以及迭代成本相對較高。

從實際成本上考慮，我們希望能夠搭建統一的一套算法框架，同時服務到各個場景中，并且能夠支持新場景的快速接入，這是我們想通過多場景建模達到的另一個目標。

另外需要強調的是，多場景問題和目前大家已知的多目標以及跨域問題是有區別的。多場景問題重點體現在共享相同的特征體系，擁有多個不同的數據源，并且有相同的目標。多目標是針對同一個數據源有多個不同的優化目標。而跨域問題通常是分成一個源域和一個目標域，一般是假設源域的數據量和效果都是較優的，然后通過源域來輔助提升目標域的效果。而多場景問題里每個場景并沒有優劣關系，建模目標是希望提升所有場景的效果。?

4、問題四：多場景問題的相關解決方案

在實際應用落地的前期，針對這種多場景問題的建模我們對目前業界已有的方案進行了簡單的分類，大致分成以下四種類型。

?第一種是最直觀的，也是目前很多業務實踐落地選用的一個方案，即針對每個單獨的場景，采用這些場景各自的數據去分別訓練單獨的模型，然后在上線部署以及預估時，每個場景會有單獨的模型。這種方式可以在不同場景下選擇目前業界已有的模型結構來進行建模。

當然這種方案也存在一些不足之處，主要集中在以下幾點，第一點就是這種方式不能很好地解決單場景的數據稀疏問題，這是因為無法利用到同類型的其他場景的特征信息補充，尤其在一些數據量比較小，或者行為數據比較稀疏的場景上，數據稀疏問題更為突出。第二點之前提到，這種單場景單模型的建模方式在模型維護和迭代成本方面，對人力和資源的消耗都比較高。第三點就是當業務上有一些新場景接入時，也會存在成本較高的問題。

既然單場景單模型的方式存在樣本稀疏的問題，那么第二種解決方案就是把所有場景的樣本數據進行混合，用混合數據訓練一個模型，然后將同一個模型部署到所有場景上。這種方式可以緩解第一類方案中的兩個問題，因為這種方案用到了所有場景的樣本，并且所有的場景共用同一個模型。然而它的不足之處體現在，這種比較粗暴的數據樣本混合訓練破壞了各個場景之間自身的數據分布，會引入一些噪聲。另外，整體的模型效果可能會被其中某幾個大場景的數據主導，從而影響到一些小場景的效果。 

第三類解決方案是采用兩階段的訓練方式，也就是先把所有的場景的樣本進行混合訓練，訓練一個 base 模型，然后再用每個場景各自獨立的樣本對原來的 base 模型進行場景內微調。在模型的部署和預估上，同樣是每個場景用各自場景數據微調之后的模型進行上線和預估。這種方式的不足之處是每個場景需要單獨部署自己的模型。另外這種直接的預訓練加微調的方式，也沒有很好的去建模場景和場景之間的關聯關系。 

最后一類是目前業界主流的用來進行多場景建模的方式，通過借鑒多任務的學習架構，在模型結構上考慮各個場景的數據來進行聯合建模，并?且通過模型結構的設計來刻畫場景之間的共性表達以及差異性的表達。近兩年在業界有比較多的嘗試和落地，比如 SAR-Net 通過類似 MMOE 的方式進行訓練，STAR 則通過構建這種全局共享的網絡以及每個場景特有的網絡，通過模型參數之間矩陣映射的方式來實現這種場景差異性的刻畫，以及其它通過動態參數網絡的方式來刻畫這種場景差異性的一些工作。

考慮到前三類方法的不足，我們選擇了基于聯合訓練的方式展開后續工作。

5、問題五：實際業務中多場景建模面臨的挑戰

而在我們實際的業務落地過程中，對于這種通過統一的模型來進行多場景的聯合建模，我們也面臨著一些更加具體的挑戰，主要體現在以下幾個方面。

挑戰一：我們采用聯合建模的方式，是希望能充分利用所有場景的信息來解決單場景的數據稀疏問題，其本質是希望把其他場景的有效信息遷移到指定場景中，盡管前面提到的一些方法通過參數矩陣運算或者動態參數網絡等方式來刻畫場景的共性和差異，但這些變換方式是相對隱性的，無法可解釋地量化其他場景是否向指定場景遷移了信息，以及遷移了多少信息。因此, 如何實現精細化的有效場景信息遷移，是我們面臨的第一個挑戰。簡單來說就是，怎么來建模是否要遷移信息，以及遷移多少信息。

挑戰二：我們在模型訓練的時候主要還是基于用戶交互行為，比如商品點擊或者視頻完播這樣的正反饋信號來構造正樣本，也就是在有標簽的樣本數據上進行訓練，這對于一些行為較少的場景會存在比較嚴重的數據稀疏問題。如果我們能夠借助一些無監督的任務，將訓練數據從有標簽樣本空間擴展到無標簽樣本空間，將有助于緩解數據稀疏的問題。

挑戰三：我們都知道整個推薦鏈路分為召回、排序等幾個核心階段。在前期的調研中，我們發現針對多場景問題的聯合建模，主要都是集中在了排序階段，包括前面列出的一些模型，基本都是排序的模型。而召回作為整個推薦鏈路的第一階段，面對的候選規模和檢索方式和排序是有很大差別的。因此，如何把多場景聯合建模如何在召回階段進行落地也是我們面臨的一個挑戰。

二、場景自適應與無監督的多場景模型（SASS）

下面介紹一下我們在實際業務落地時的模型方案，這個模型簡稱為 SASS。這一方案主要聚焦于三個核心關鍵詞，第一個是場景的自適應遷移（Scenario-Adaptive），第二個是無監督（Self-Supervised），第三個是針對召回任務的落地探索。

整體的模型框架包含了兩個階段，一個是預訓練任務，另一個是微調任務。其中階段一是在無標簽的樣本集合上構建一個無監督的預訓練任務，通過對比學習來建模場景和場景之間的關系。另外，因為整個模型是在召回階段落地，需要對 user 側和 item 側進行獨立建模，因此在 user 側和 item 側我們進行了對稱的結構設計。

第二個階段是微調任務，會在第一階段的基礎上進行模型結構的復用，包括加載第一階段預訓練的 embedding 和網絡結構參數。此外，第二階段是在有標簽的樣本空間上訓練一個召回的任務，然后輸出 user 側和 item 側的表征向量。接下來具體介紹一下這兩個階段。

1、階段一：預訓練任務

?首先，在第一個階段的預訓練任務中，我們構建一個場景和場景之間的對比學習的無監督任務。如圖右上角部分所示，大家應該對對比學習的經典訓練范式都比較熟悉，同一個對象x通過兩種不同的數據增強的方式得到兩個不同的特征集合，然后通過特征的抽取網絡及映射網絡，最終得到同一個對象的兩個不同的向量表達，隨后就可以通過對比學習的度量 loss 來拉近這兩個向量之間的表征距離，以此來實現無監督的預訓練任務。

在對比學習思路的啟發下，我們將多場景建模中場景和場景之間的對齊表達和對比學習的預訓練任務進行了結合。前面提到了同一個用戶可能會訪問多個不同的場景，并且在不同的場景中有不同的交互行為，并留下一些和場景相關的統計信息。因此我們可以把這種用戶在不同場景上面的行為差異視作一種天然的數據增強的方式，同一個用戶的興趣有延續性，但是他在不同的場景之間的表達可能存在一定的差別。然后我們在此基礎上構建一個對比學習的無監督的任務。

從具體的模型看，如圖左側所示， 我們對不同的場景會構建一個統一的特征體系, 但特征的具體取值是和場景對應的，比如我們把用戶的行為序列分場景拆開，用戶在各自場景有對應的興趣偏好等統計特征。通過這樣的拆分方式，同一用戶有場景相關的多個不同的特征值集合。比如圖中同一個用戶在場景 a 和場景 b 的特征，然后通過一個統一的表征網絡（這個表征網絡后面會介紹），我們可以得到同一用戶在不同場景各自的表征向量，最后通過對比學習的 loss 來拉近兩者的度量距離。

剛才說的是 user 側的訓練方式，在召回任務里 user 側和 item 側通常都是各自獨立建模的。因此 item 側也采用對稱的結構和任務來訓練，并且 user 側和 item 側是共享相同的 embedding 層的。具體來說，對于同一個 item，我們把 item 側的特征取值也分場景拆分開，通過 item 側的表征網絡后，得到每個場景各自的向量表達，然后采用相同的對比學習 loss 進行訓練。

在樣本構造的時候我們有個特殊處理是，一個用戶訪問的場景可能大于 2 個，因此在構造對比學習的訓練任務的時候，我們會對用戶訪問過的場景兩兩組合來構造出多條訓練樣本。同樣在 item 側也是通過這種兩種組合的方式來構造出多條樣本。

在具體的對比學習任務上?，我們沿用了 InfoNCE 的 loss 形式來進行訓練。 

我們通過建模場景和場景之間對比學習的任務來實現多個場景之間對于無標簽數據的預訓練，接下來介紹整個模型框架里面比較重要的表征網絡的設計細節。

模型中場景表征網絡是一個多層的、場景的自適應的遷移網絡。首先從整體模型結構上，在模型的 embedding 層是共享參數的。而這種表征網絡從整體上可以分為幾個組成部分，第一個是全場景共享的網絡，也就是圖中模型左側的藍色部分，這里的全局共享網絡是所有場景的樣本都會經過這里進行訓練，可以看作是對 user 側或者 item 側所有的場景樣本混合進行訓練的表征結構。

第二部分是每一個場景各自特有的網絡結構，也就是圖中每個場景對應的灰色部分。每個場景對應的樣本經過相應的網絡來進行訓練，由于每個場景的網絡層參數是分開的，這種訓練及表征就可以很好地刻畫每個場景之間各自分布的差異性。另外在圖中左下角部分，我們也引入了一個輔助的 bias 網絡。這個 bias 網絡的輸入包括場景 id 以及某些場景所特有的特征，還有一些上下文的特征。這樣可以在共有體系的基礎上進一步刻畫場景自身上下文之間的差異和 bias 信息。

在具體的訓練過程中，每條樣本通過統一的特征 embedding 層并進行拼接之后，會進入到全場景共享網絡以及這條樣本所對應的場景所特有的網絡，進行前向傳播以及反向傳播的網絡訓練。

同時在整個網絡結構當中全場景共享網絡每一層的輸出都會通過一個場景自適應的門控單元，把全場景的融合信息遷移到單場景上，以此來實現場景信息之間精細化的遷移。具體可以參考圖中模型右上角的結構，該遷移結構重點包含一個 adaptive gate 和一個 update gate。其中 adaptive gate 的輸出值用來控制全場景的信息中有多少是能夠被遷移到單場景上面去的，而 update gate 的輸出是控制從全場景網絡遷移過來的信息和單場景原有的信息進行加權融合的權重值。這兩個 gate 網絡的輸入包含了全場景網絡的信息、單場景網絡的信息以及場景自身 bias 的信息。通過這種精細化的、自適應的遷移結構去建模表征場景的遷移方向以及遷移信息量。我們將該遷移結構堆疊多層，最終每條樣本都可以得到它在各自對應場景上面的一個向量表征。最后，每個場景各自的輸出和對應的場景上 bias 的輸出進行融合，得到它在對應的場景上最終的向量表達。

2、階段二：微調任務

第二階段是微調任務。由于我們想將模型落地到推薦鏈路的召回階段，因此微調任務和召回任務的目標是對齊的。在樣本選擇上，我們采用 user 點擊的 item 作為正樣本，通過隨機采樣的方式來構造負樣本，然后通過構造三元組的方式來進行 pairwise loss 的計算，從而進行訓練。

另外，在微調階段我們會進行模型結構以及參數的復用，即我們會在微調階段的模型結構上重新采用和預訓練階段相同的表征網絡結構，并且會去加載預訓練階段的 embedding 層以及網絡參數，相當于將第一階段場景之間無監督訓練的信息保留下來。

在微調階段的 user 側和 item 側的度量匹配任務上面，我們也引入了一個新的輔助任務來幫助訓練。前面提到每條樣本在通過表征網絡進行表征后可以得到兩個向量表達，一個是每個單場景網絡特有的向量輸出，這個向量刻畫了它在每個對應場景上面的獨立的表達；另外一個是全局共享的向量輸出，刻畫了 user 特征或者 item 特征在全域上的表達。因此在整個的微調階段的訓練任務中包含了兩個 loss，一個是單場景的網絡所輸出的 user embedding 以及 item embedding 之間訓練的 loss；另外一個就是全場景網絡對應輸出的 user embedding 以及 item embedding 也可以通過這樣一種計算方式得到另一個 loss，最后兩個 loss 的加權和作為最終的 loss 進行訓練。而引入全場景 loss 的輔助任務，相當于刻畫同用戶和 item 在全域的表達，盡管它的表達可能并不適配于各自場景的獨立特征表達，但是如果把它加到一個全局的任務中訓練后，對整體效果的收斂是有好處的，后面的實驗分析也可以論證這一點。

接下來介紹一下如何去部署召回模型。在模型訓練完成后，我們會把微調階段的模型進行部署上線。在線上預估時，每個場景的信息會通過模型上對應場景的網絡得到在該場景下的表征向量。

另外，在輔助任務中全場景網絡的輸出只在訓練階段使用，因為它是混合樣本，可能存在一些噪聲，然后在預估的時候，每個場景還是使用各自場景輸出的那個特征向量。針對召回任務，在 item 側我們會針對所有的候選去生成這個向量，之后去構造成相應的索引，再通過模型部署，在線預估的時候生成向量。隨后通過向量檢索獲取到 topk 的結果，最后把結果返回給排序階段，來進行整個推薦鏈路后續的一些操作。

三、實驗分析和落地應用

接下來介紹一下利用該模型進行的一些實驗分析和已經落地的應用。

我們是在兩個開源數據集以及自身業務的工業數據集上面與其他方法進行了效果比較。

對比的方法主要分成三類，第一類是傳統的單場景模型，因為我們關注的是一個召回任務，因此對比目前業界比較流行的一些召回方法，比如 YoutubeDNN、MIND、BST、DSSM 等。這些單場景模型都是用各自場景各自獨立的樣本來進行訓練。第二類是用多個場景混合的樣本進行訓練，模型上仍然選用目前業界常用的單場景模型。第三類是業界已有的和我們提出的多場景聯合建模的一些方法，其中一些方法是用在排序階段，而針對在召回階段的落地實踐，為了更好地對比，我們對這些方法稍加改造——即取排序模型網絡最后一層的輸出作為一個表征向量去適配召回任務。

上表中最后兩列是我們提出的模型，其中 SASS-Base 是不加預訓練的模型結構，而 SASS 是增加了預訓練階段。由于我們驗證的第二個數據集存在特征缺失問題，不能夠支撐預訓練任務，因此針對這個數據集我們重點比較了 SASS-Base 和其他方法的效果。

從多種類型的方法對比當中，我們得到了幾個比較有價值的結論。第一點是采用混合樣本訓練的單場景模型在大多數情況下的效果反?而不如單場景用自己單獨的樣本進行訓練。這和我們前面論證及調研的結論是相符合的，即這種混合樣本的方式可能會引入比較多的噪聲，而且打破了每個場景原本的數據分布。但是對于一些數據特別稀疏的小場景，混合樣本反而達到比較好的效果。因為對于這些場景，用本身稀疏的數據進行訓練其實是很難學到有效信息的，采用這種混合樣本的方式，雖然數據上面可能是有偏的，但能夠通過樣本量的增加帶來一些收益和效果的提升。

第二個結論是通過多場景聯合建模的方式訓練得到的模型普遍優于前兩類單場景的建模方法，我們提出的模型在不增加預訓練任務，即 SASS-Base 模型結構上，在各個場景基本上也優于或者可以和其他多場景聯合建模方式取得差不多的效果。而在疊加了預訓練任務后，整體的效果有了進一步的提升。?

?后續我們又進行了一系列的消融實驗，主要包括以下幾個部分。

第一個是刻畫全域場景到單場景上信息遷移的自適應的 gate 結構。我們對模型的 gate 網絡上的結構和目前已有的其他類型的 gate 遷移方式進行了對比，包括（1）利用矩陣乘法映射的方式來實現信息遷移；（2）使用類似于 Simnet 這樣兩個特征進行加法、乘法以及拼接，然后通過 MLP 的方式來進行融合的這種遷移方式；（3）類似 MOE 這樣的結構，通過 Sigmoid gate 來進行遷移的網絡結構。最后從實際實驗效果來看，我們這種自適應的方式能夠取得不錯的效果。

第二點是針對是否要增加預訓練的任務以及不同的預訓練任務類型對實驗結果影響的對比。對比的預訓練方式是通過用戶的行為序列來對下一個視頻或者下一個 item 預測的訓練任務。經結果比較，可以證明增加了預訓練的任務，并且通過這種場景和場景之間的對比學習可以提升模型的效果。

第三點是去論證模型結構設計中的輔助網絡以及一個輔助任務。其中一個是我們在微調階段引入了全局共享的網絡，利用該網絡輸出的結果來進行輔助的微調訓練，另外一個是在我們的網絡結構設計中，針對每個場景的輸出，去融合場景相關的 bias 特征的消融實驗。實驗結果也證明了這兩個結構的添加對整體模型效果有一定的提升。

另外，由于我們的表征網絡是一個多層的信息遷移結構，因此我們也對比了這種網絡層數的增加對我們模型效果的提升。可以看到整體的趨勢是隨著網絡層數的增加，模型效果是先提升然后再下降的。后續網絡層數增加所引起的效果變差，我們分析可能是因為網絡層數增加后整個參數量隨之增加，會存在一些過擬合現象。另外在得到上層表征之后再進行這種大量的信息遷移，可能會使得單場景的表征更容易受到全場景信息的影響。因此這種多層網絡結構的層數增加在一定程度上可以提升效果，但是網絡層數并不一定越多越好。

下一組實驗，我們針對召回任務對比了不同 item 側的表征向量，因為在召回上每個場景都會生成各自的向量。在一些多場景建模時，user 側會對應有各自不同的表達，但在 item 側并沒有詳細地去刻畫，而在我們的召回任務當中 user 側和 item 側對應的都是它在每個場景下各自獨立的向量表達，因此我們也對比了每個場景對應的 item 表達以及場景共享的同一個 item 側的 embedding。通過對比發現，在 item 側同樣能夠區分開各個場景獨立的向量表達。

最后我們將這個模型在一個實際的內容推薦場景上面進行了在線的 A/B 實驗。在一些實驗指標上取得了不錯的效果，尤其在一些相對來說比較小或者數據比較稀疏的場景中，提升幅度更高一些。

目前我們提出的模型方案已經在淘寶的內容推薦場景，包括短視頻、圖文推薦等場景上完成推廣，并且這個模型在各個場景都成為了主要的召回方式之一。?

四、總結

最后進行一下總結。整體上，我們想要解決的問題就是推薦領域中的多場景建模的問題，這也是目前在推薦系統當中普遍存在的一個問題。而針對這種多場景建模，我們的核心目標是希望能夠通過構建一套統一的框架最大化各個場景之間的信息使用。通過這種聯合建模的方式解決數據稀疏問題，同時去提升各個場景的業務指標。并且通過同樣的一套方法架構降低模型迭代以及部署的成?本。

但是在我們的實際業務應用當中，多場景建模面臨著三個核心挑戰。第一個是如何實現精細化以及有效場景信息的遷移；另外在多場景建模里面怎樣解決數據稀疏的問題，怎樣去引入一些無標簽數據；然后第三點就是多場景聯合建模在召回階段進行落地。

在我們的實踐當中，通過去設計這種自適應的場景信息遷移的網絡架構，以及構建場景和場景之間的對比學習的無監督任務，并且包括在模型結構設計、訓練方式以及部署上去適配召回階段的任務來解決上面的挑戰。最后，這種場景自適應的無監督模型目前在全場景上較好地落地，并且是作為一個主要的召回方式。?

五、問答環節

Q1：用什么指標來評估模型在每個場景的提升？

A1：這是模型評估方面的問題，需要和各場景的建模目標對應，然后分場景去看指標的提升。如果是召回階段的任務的話，就是在對應的每個場景上面去選擇召回相關的評估指標，比如 Hit Rate 或者 NDCG。如果是在排序階段，就主要關注 AUC、GAUC 這樣一些排序相關的指標。

Q2：SASS 的兩個場景的 feature 是否相同？

A2：首先，因為我們整體解決的是一個多場景的問題。如定義所示，就是在每個場景之間，樣本很大程度上是對齊的，因此我們在實際建模時，也是盡量把所有的特征進行對齊和拉平。另外，針對每個場景內還是有一些自己特有的特征的情況，我們設計了場景 bias 的網絡，對于那些沒有辦法完全對齊的特征，我們會把它放在這個單獨的網絡結構當中。

Q3：有考慮把代碼開源嗎？

A3：這套代碼目前正在公司實際業務場景中使用，開源需要符合公司的信息披露合規要求。我們后續會進行溝通，可能會提供一個 demo 版本進行開源。

Q4：召回階段也是用的這些模型嗎？

A4：我們目前的這個模型本身就是在召回階段來進行落地的，因此整個模型也是部署在這樣一個召回階段，當然我們提供的是一個比較通用的方案，通過一些改造也是完全可以作為排序模型使用的。

Q5：模型用了哪種負采樣？

A5：負采樣主要是在微調階段進行。我們采用的是在召回任務當中比較通用的負采樣方式，其中將用戶的點擊作為正樣本，而負樣本是會在每個場景當中根據 Item 的曝光概率做一個隨機的負采樣。然后在多場景上面，因為我們整體訓練任務還是會在每個場景各自去進行訓練。因此在負采樣的時候，正樣本對應的負樣本也是會在這個場景所對應的曝光空間里面進行負樣本的隨機采樣，通過這樣來構造出這種正負樣本的 pair 對的形式。

Q6：淘寶信息流的商品短視頻場景頁、話題頁都是可以用這一套模型嗎？是否可以和商品推薦場景結合？目標是否需要統一？比如視頻有時長目標。

A6：這個問題稍微有點大，我拆分一下，就是目前我們這一套模型是落地在淘寶上的內容推薦場景，就是整體是以內容為主要的載體，包含圖文和視頻。這一塊是完全適配的，因為它整體的特征體系是基本一致的，可完全復用。然后另外一點其實也是我們下一階段要做的工作，就是里面可能提到商品以及內容，他們本身的數據分布以及特征體系其實是不一樣的，這個可以理解為更像是一個跨域的問題，是商品域和內容域之間的一個融合。我們下一階段的工作也是希望能夠在多場景當中引入這樣一些跨域的思想，能夠把商品域的一些行為信息遷移到內容域上面，這個是第一點。第二點的話關于目標統一，我們現在是做了目標的統一。比如說在首頁點擊上，我們是用用戶的點擊信號來作為正樣本，而在這種無盡流上下滑中， 其實沒有用戶點擊，然后我們用的是用戶的長播、完播等時長信號作為正反饋，也就是整體把 label 打平到這樣一種二元的維度。

Q7：可以詳細介紹一下場景之間對比學習無監督任務嗎？

A7：整體的話還是仿照這種對比學習的思路，其實重點是通過場景和場景之間的特征拆分之后然后去構建預訓練任務，可以再參考我前面 PPT 部分的講解或者我們論文中的介紹（Scenario-Adaptive and Self-Supervised Model for Multi-Scenario Personalized Recommendation）。

Q8：預訓練模型的 user 側和 item 側用的是點擊樣本嗎？

A8：預訓練任務是在沒有標簽的一個空間上面的進行的，比如說某個用戶 訪問的 a 和訪問的 b 這兩個場景，以及該用戶有一些靜態的屬性特征，和歷史保存下來的在每個場景對應的用戶行為序列，然后這樣構成了同一個用戶在 a 和 b 這兩個場景的一個特征體系。預訓練的建模目標是去建模這個有訪問的用戶，在場景 a 和場景 b 之間通過這樣一種特征度量之后拉近這兩個表征向量之間的距離。因此它其實是一個無監督的任務，是在無點擊的樣本空間上面來進行訓練的。

Q9：各個場景的多目標怎樣融合？

A9：這個其實是另一個問題了，目前我們解決的是多場景問題，我們是希望所有的場景之間都是共享了同一個目標，比如說點擊的目標或者說我們轉化的這樣一種二分類的目標，它其實刻畫了用戶對這個內容或者說對這個視頻是否感興趣。至于剛才提到的多場景多目標的方式，其實是和多場景有一些區別，但是我理解是可以把這樣一種多目標建模的方式構建在這個多場景建模上面的。因為目前也有很多工作是在做多場景和多目標的聯合表征的任務，比如說在我們現在這種架構上，通過表征網絡后每一個樣本對應在每一個場景上面會有一個獨立的向量表達，如果我們將這個向量表達作為輸入，在此基礎上再去針對每一個目標構建一個特有的目標相關的特征網絡，其實也是可以做多目標和多場景聯合的任務。你可以把我們現在的這種多場景的訓練方式當成一個基礎框架，然后在它的基礎上再去建模其他的一些多目標的任務。這個我感覺是 make sense的。 

Q10：預訓練階段的對比學習的 loss 是怎么設計？

A10：這個 loss 其實是和傳統的對比學習的方案比較相似的，我們也是選用 InfoNCE loss，也就是在一個 batch size 為 n 的訓練樣本中，把同一個用戶或者 item 在對應場景生成的兩個向量當成正樣本，其他樣本所對應的產生的 2n-2 個向量當成它的負樣本，這樣構造 loss 來進行訓練。

Q11：預訓練階段 item 怎么構造多 view？ 

A11：剛才重點介紹的是 user 側，那么 item 側其實也是同樣的結構。針對 item 側，同樣是有一個 item 自身的全局共享網絡以及針對每個場景每個 item 它在各自每個場景上面的一個網絡參數的表達。因此通過同樣的一個模型方式，和 user 側是完全對稱的一個結構。每個 item 會通過這樣一個全局共享的參數遷移，以及每個場景自身的網絡結構，最終會有一個獨立的和場景相關的輸出。

Q12：請問一下模型的時效性是怎樣的？多久更新一次模型？是流式訓練嗎？

A12：這個問題很好。我們目前的這個模型其實是離線訓練的，是天級別的更新的。然后我們也是在做一些替換性的嘗試，希望能夠提升它的一個時效性，通過 online learning 的方式進行流式訓練。當然目前還遇到一些問題，主要就是體現在這樣一種多場景訓練的方式上，其實它需要去同時引入多源的數據，那么在這種流式訓練當中，多個源的數據怎么能同時接入，以及如何保證訓練穩定其實是比較大的挑戰的，所以我們目前的模型還是這種離線天級別更新的。后面可能會做一些嘗試，比如說把目前的這種離線的多場景聯合訓練當成一個 base 模型，然后在單場景上面通過模型 restore 后進行流式數據的微調，通過這樣一種方式來進行迭代更新。

Q13：預訓練的樣本如何構造？

A13：這個剛剛其實也介紹了。整體核心點還是在于同一個用戶在不同場景上面對一些特征的表達進行拆分，比如說 a 和 b 兩個場景，它有些靜態特征，同時在對應場景上面它會留下各自獨立的用戶行為序列，以及這樣一個 user 在對應的場景上面的一些統計信息，如類目偏好、賬戶偏好以及一些點擊曝光等統計特征。這樣相當于把數據的特征構造分場景的拆開，可以使得同一個用戶在不同場景有不同的特征。這個是特征上面的構造，然后在樣本上面的話就是剛剛提到的，一個用戶如果訪問了多個場景，然后場景之間兩兩組合去構造這樣一種樣本對的形式。然后在 item 側，一個 item 可能會投放到多個場景上，那么多個場景之間這樣兩兩組合的方式也可以構造 item 的樣本。

Q14：預訓練對比學習有指標評估嗎？

A14：我們的預訓練階段是一個無監督的任務，我們重點想要通過預訓練的任務拿到它的 embedding 的表征，以及對應的網絡參數的初始化。因此我們在針對預訓練對比學習這一塊評估的時候，主要是通過預訓練階段產出的向量的做可視化的聚類來分析效果。

Q15：多場景模型在某些場景有正收益，但在某些場景是負收益，那負收益的場景怎么做調整優化？ 

A15：這個其實還是關于場景的共性和差異性上的一個刻畫，我們設計的多場景方案的初衷是希望能夠通過統一的模型加固之后，再在各個場景上面進行優化。當然實際上，尤其在后續一些迭代上面并不能夠完全百分百的做到同一個模型架構在所有的場景上面都能取得很好的收益，可能有些收益是不太明顯的。那么這個時候其實是需要在我們目前的這樣一個多場景架構上針對每個場景自身的一些特點，在上層結構上做一些微調的設計，就是在底層的 embedding 共享以及信息遷移這個部分可以用多場景的框架來做。當然每個場景有它自己自身的一些網絡特點，比如說在二跳當中的一些強的 trigger 信息會有一些獨立的特征結構，需要在上層再做一些適配的。

Q16：預訓練模型在各個場景是 share 的嗎？

A16：底層的 embedding 以及全局共享的網絡在各個場景之間是 share 的，然后每個場景所對應的各自的一個網絡參數是在每個場景所特有的。

Q17：召回 serving 階段，對于不同場景的 item 表征應該不同，在線檢索庫索引的時候是拆分建庫還是聯合建庫？

A17：我們目前是采用拆分建庫的方式，也就是每個場景對應的一個候選會在每個場景生成各自獨立的一個索引。

Q18：樣本量在什么量級的時候算稀疏小場景？

A18：這種沒有一個標準的答案，可能得根據實際的業務場景上面來看。

Q19：某路召回有沒有用到人工（策略產品經理）出的一些策略？

A19：因為在召回階段是一個多路召回這個形式，也就是會有多種不同類型的召回方式，比如說向量召回等，然后也會有一些人工包含一些運營指標提供的召回方式，因此整體目前的一個推薦階段的話，其實它都是各種類型的召回方式融合，再給到排序那邊做統一的打分。具體到我們今天講的這樣一個模型上面，重點還是放在這個模型的優化上。 

Q20：請問單場景模型訓練只有初始化的時候繼承預訓練的參數？然后在單場景模型訓練起來以后，還會利用預訓練模型的參數嗎？

A20：目前我們的方案就是在模型訓練之后的初始化階段進行模型參數的加載。至于預訓練之后的 embedding 以及參數是否還需要進行更新，我們做過兩種實驗，第一種是預訓練的模型加載之后，把它固定以及第二種是在微調階段繼續參與這樣一個模型訓練。然后我們目前采用的是在微調階段仍舊對原來的預訓練的模型參數進行重新訓練的方式。

Q21：多層場景的 GRU 里面多場景的先后順序是如何確定的？

A21：場景和場景之間順序是隨機的，因為我們的模型其實是會把這樣一個全域場景的信息遷移到單場景上面去，所以在場景之間，它的訓練順序其實是隨機的。

Q22：預訓練階段兩個 view 特征有什么差異呢？差異就只是在場景上嗎？

A22：對，在場景差異上面，我們整體是通過同一個用戶或者說同一個 item 在不同場景上面的特征體現不同，從而去刻畫它在場景上面的差異，也就是把這種場景和場景之間的差異當成一種數據增強的方式。不僅是單獨在場景，也包含用戶和 item 在場景上的一些行為特征表示。

Q23：在線預估需要分步驟先獲取預訓練表達嗎？然后再進行召回？

A23：預訓練是為了去輔助我們最后的召回任務的訓練，因此在預估時，我們整體是只會用到第二階段微調的任務來進行部署。你可以理解為一個比較經典的 DSSM 的這樣一個雙塔結構的模型。因此最后是用微調階段的這種模型結構來進行上線的，然后在那個表征輸入預估的時候去輸出 user 側的表達和 item 側的表達。

Q24：請問對比學習的損失跟微調的損失可以聯合訓練嗎？

A24：這個問題換一個說法，就是能不能把我們現在采用的這種兩階段的方式轉化成端到端的訓練，也就是在訓練任務當中既做場景和場景之間的一個無監督訓練，同時在此基礎上去做 user 和 item 召回的一個聯合訓練。這種方式的話感覺是可行的，但是我們沒有這樣做的原因是它沒有解決到我們想用無標簽樣本數據的這個問題。也就是我們兩階段任務所用到的樣本其實是不一樣的，預訓練階段是用了更大范圍的無標簽數據，然后在微調階段才使用了有標簽那些數據。如果聯合訓練的話，就只能在這樣一個有標簽的數據上進行訓練，樣本空間其實是會縮小的，這個和我們最開始的設計初衷會有一些差別。 

Q25：ML-SAT 階段的模型中，update-gate 和 adapt-gate 本身的作用是在 MLP 每一層都采用還是只在頂層融合的時候生效？

A25：這個是會在每一層來進行一個遷移的，就是在多層結構上面，單層結構會做一個信息的遷移，然后會把這個結構進行堆疊。就剛剛的一個實驗 結果上，在多次對比后選擇 3 層的話，它的效果是有些提升的。因此，我們在實際的業務落地當中，這個模型對應的層數也是設置為 3。

Q26：預訓練用幾天的數據訓練的呢，只 pretrain 一次嗎？

A26：我們的預訓練以及微調階段的任務是天級別的增量訓練的，然后在微調階段會再去導入預訓練階段，兩邊相當于是在并行的去做增量訓練，然后在中間會做參數的加載。

Q27：預訓練和微調是用的同一時間窗口的數據嗎？

A27：剛才提到我們整體的訓練方式是增量訓練的，因此它們的時間窗口基本上是對齊的。