1 引言

在搜推系統中，隨著場景建模目標越來越豐富，我們越來越多的希望模型可以兼顧多個任務的建模，多任務學習（multi-task learning）逐漸走入了人們的視野，成為了當前精排模型的主流方向之一。在轉轉的搜索場景中，用戶的每個行為背后都有其特定的考慮因素，這也導致了不同行為之間流量效率的差異。下圖展示了用戶在詳情頁所看到的信息，其中包括收藏、加購、咨詢客服等行為按鈕，這些行為為精排模型預測用戶的最終決策——是否購買——提供了重要的參考。基于此，我們在建模時需要全面考慮用戶的決策鏈路，以實現最優的模型效果。

圖片

2 多任務學習概述

2.1 多任務學習的必要性

如果為每個行為單獨設計模型進行單目標建模，并將其輸出最終結合使用，除了增加工程上的復雜性外，模型可能會面臨信息孤立的問題，無法充分利用不同目標之間的相關性，導致整體性能下降。獨立訓練每個模型會顯著增加訓練時間和計算資源的消耗，從而降低系統迭代效率。多個模型的存在還可能增加過擬合的風險，在某些行為樣本量較少時尤為明顯。管理和維護多個模型也會使復雜性加大，為模型的部署帶來挑戰。

此外，由于不同模型之間的優化目標可能存在沖突，例如點擊率與轉化率之間的關系往往難以進行協調優化。在轉轉的場景里，前者可能通過給低價商品更多曝光來吸引更多點擊，而后者則強調精準性和質量，過于關注點擊率可能導致轉化率的下降。這種相互矛盾的優化目標使得在模型訓練和調優過程中，難以找到各目標之間的最佳平衡點，最終可能導致整體效果不盡如人意。同時，當不同模型的優化方向相互沖突時，可能會造成資源浪費，影響決策的效率，進而影響業務的長期發展。因此，尋找一個能夠同時兼顧多種目標的建模方法顯得尤為重要。

當然，借助多任務學習的方式雖然不能完全避免多個優化目標之間的沖突，但它可以在整體上實現對多個目標的有效權衡，從而獲得更優的結果。

2.2 多任務學習的效用

深度學習涉及的應用領域有多個multi相關的概念，除了多任務multi-task，還包括多標簽multi-label，多類別multi-class等，他們之間的關系如圖所示：

多個multi之間的關系

• multi-task: 這里的task可以是分類或者回歸任務。不同的任務有著不同的樣本或者特征，同時也有一部分特征與樣本共享。
• multi-label:多標簽multi-label表示對樣本進行多個維度的分類，是multi-task的一種，區別在于multi-label是用了相同的樣本和特征進行建模。
• multi-class:多分類multi-class表示分類結果有多種選項。

多任務學習通過知識共享、減少過擬合、提升泛化能力、優化效率、任務間相互促進以及動態調整模型關注點等機制，有效提升模型在復雜問題上的表現。通過共享信息和特征，模型更好地捕捉數據模式；通過多個任務的共同訓練，降低單任務的過擬合風險并提高泛化能力；同時訓練多個任務提高了效率，節省計算資源；某些輔助任務還可以為主任務提供監督信息，進一步優化效果。

2.3 多任務學習的實踐

多任務學習相比于單獨建模的核心優勢在于不同任務之間的網絡可以進行共享，實現多個任務共同提升的效果，因此如何設計有效的網絡結構成為多任務學習的一個重要研究方向。在引入多個label時，自然會產生多個loss，如何制定優化策略在聯合訓練中讓整體的loss達到最佳也是模型能否取得更好收益的關鍵。

多任務學習的研究方向

網絡結構設計：這一方向主要關注哪些參數可以共享、在何處共享以及如何共享。我們可以將其分為兩大類：第一類是在設計網絡結構時考慮任務之間的顯式關系，例如淘寶中點擊與購買之間的關系，以阿里提出的ESMM模型為代表；第二類則是任務間沒有顯式關系的情況，例如短視頻中的收藏與分享，在這種情況下，模型設計時不考慮標簽之間的量化關系，以谷歌提出的MMOE模型為代表。

多loss優化策略：這一策略主要解決損失值差異、學習速度不均以及更新方向不一致等問題。兩個經典的工作包括UWL（Uncertainty Weight）和GradNorm。UWL通過自動學習任務的不確定性，為不確定性大的任務分配較小的權重，而為不確定性小的任務分配較大的權重；GradNorm則結合任務梯度的二范數與損失下降梯度，引入加權損失函數Gradient Loss，并通過梯度下降更新該權重。

3 轉轉場景下的多任務學習

3.1 模型選型

早期轉轉搜索場景的精排CVR模型同時建模的兩個目標分別為“下單”和“支付”。考慮到兩個task之間存在遞進關系，在模型選型時使用了與ESMM相同的結構。ESMM論文所要解決的兩個關鍵問題：樣本選擇偏差（Sample Selection Bias）和樣本稀疏（Data Sparsity）：

• 樣本選擇偏差(Sample Selection Bias) ：轉化是在點擊之后才“有可能”發生的動作，傳統CVR模型通常以點擊數據為訓練集，其中點擊未轉化為負例，點擊并轉化為正例。但是訓練好的模型實際使用時，則是對整個空間的樣本進行預估，而非只對點擊樣本進行預估。即是說，訓練數據與實際要預測的數據來自不同分布，這個偏差對模型的泛化能力構成了很大挑戰。
• 樣本稀疏(Data Sparsity) ：作為CVR訓練數據的點擊樣本遠小于CTR預估訓練使用的曝光樣本。

這篇論文通過同時學習CTR和CTCVR兩個目標，間接學習并優化CVR目標，從而有效規避了上述兩個問題，使CVR模型的性能得到了提升。

在應用于轉轉搜索場景時，CVR模型建模路徑為“點擊->下單->支付”。如果直接建模“點擊->支付”，則會丟失“下單”行為所包含的重要信息；而若將“點擊->下單”和“下單->支付”兩個階段分開建模，除了增加工程復雜性外，“下單->支付”模型還將面臨更加嚴重的樣本稀疏問題。我們的模型結構如下圖所示：

CVR模型結構圖

具體實現上會構建兩個塔用于預測“點擊到下單”和“下單到支付”兩個任務。模型分別輸入兩組特征，其中包含部分共享特征。兩個塔共享底層特征的embedding，然后分別通過上層網絡進行特定任務的預測。在“點擊到下單”和“下單到支付”兩條分支中，各自的特征經過多層網絡后在 concatenate 層融合，再通過更深層網絡得到預測結果，并分別計算損失 loss1 和 loss2。這種結構通過共享特征提高了模型的整體效果，同時兼顧了兩個任務的優化。在線上預測時，會使用兩個塔輸出的乘積作為CVR模型的最終打分。

在確定基本框架后，我們在此基礎上進行了一些改進嘗試，例如將每個塔從W&D替換為DeepFM、DCN等模型，為兩個塔的loss設置不同權重，以及對比同時訓練和分別訓練兩個塔的效果等。然而，這些調整并未帶來顯著的性能提升。對模型效果影響最大的，仍然是樣本和特征的優化。值得注意的是，模型只有結合具體業務場景才能最大限度地發揮作用。接下來，我們計劃將“收藏”行為納入建模目標。做出這一決定的主要原因在于統計結果顯示，用戶對收藏夾中商品有著更高的成交概率，同時使用收藏功能的用戶比例也相當可觀。盡管我們此前在樣本和特征中對收藏行為做了一些描述，但這顯然還不夠。

加入收藏行為之后，用戶的決策路徑不再是單一的，CVR模型需要建模的路徑如下所示：

用戶決策路徑

在對比了其他的多目標模型之后，我們還是決定參考阿里對ESMM的改進，將ESM^2應用到我們的場景中。模型從原先的兩個塔擴展為了四個塔來為“收藏”、“下單”和“支付”三個目標進行建模，模型結構如下圖所示：

CVR模型結構圖

做出這樣選的的主要考量在于，這三個task之間存在的路徑依賴。需要注意的是，輸出為 、 和 的塔均是通過隱式學習的方式實現的，并沒有單獨的label來指導這幾個塔的參數更新。其輸出所代表的含義僅限于概率層面，反映的是在模型中通過隱式關聯所學習到的潛在信息，而非直接通過明確的標簽進行的監督學習。模型對“點擊->下單”環節的預測概率(下單)可以使用如下的公式進行表示：

3.2 未來規劃

未來計劃為模型引入attention機制為用戶行為序列進行建模。樣本層面考慮加入用戶APP其他場景的行為數據。此外，對于泛意圖搜索將探索多個類目的結果更好的融合方式。

參考文獻

[1] 多目標優化概論及基礎算法ESMM與MMOE對比: https://www.cnblogs.com/whu-zeng/p/14111888.html

[2] FunRec-多任務學習概述: https://datawhalechina.github.io/fun-rec/

[3] 多目標｜樣本權重：GradNorm和DWA利用學習速度調權: https://zhuanlan.zhihu.com/p/542296680

[4] Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate: https://arxiv.org/abs/1804.07931

[5] Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction: https://arxiv.org/abs/1910.07099

[6] A Pareto-Efficient Algorithm for Multiple Objective Optimization in E-Commerce Recommendation: http://ofey.me/papers/Pareto.pdf

[7] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts: https://dl.acm.org/doi/pdf/10.1145/3219819.3220007