一、UPLIFT 模型簡介

首先介紹一下 UPLIFT 模型。

一個經典的場景：市場營銷活動怎么找到最優投放客群？或者怎么找到最優的營銷激勵方式？

?普遍的思路就是投放高意愿（上圖 Sure Things 和 Persuadable 象限）的用戶，但是這個思路最大的問題是：它忽略了自然流量下的用戶轉化。首先，高意愿用戶中有一部分用戶（Sure Things 象限用戶）不投放也能夠自然轉化；此外，在折扣券的營銷模式下，直接對高意愿用戶進行投放往往會帶來一個高成本的損耗。那是不是可以轉而投低意愿（Do Note Disturbs 和 Lost Causes 象限）的用戶呢？通過投放將他們的消費意愿提升？事實上，對于低意愿的用戶，他們轉化的概率本來就很低，可能無論你怎么投他都不轉化，甚至會永久流失，但是消耗大量營銷成本。

因此，在解決這類市場營銷問題前，我們需要先回到市場營銷學的概念——“營銷增益”上。“營銷增益”的意思就是我們的營銷活動應該聚焦在能被改變立場的那一部分用戶。通俗的說我們要找的目標客群就是營銷前不會轉化，但是營銷后會轉化的人群（Persuadable 象限人群），而 UPLIFT 模型就是為了找到這些對營銷激勵敏感的人群。?

1、UPLIFT 模型 VS 響應（Response）模型

（1）響應模型

在判斷對用戶營銷后用戶是否會轉化時，往往會構建一個響應（Response）模型，模型會預測每個用戶的轉化率，然后我們會根據一系列的數據分析、成本預估等，劃定一個轉化率閾值，對預測高于這個轉化率閾值的用戶進行投放。響應模型簡單高效，能直接用當前所有主流的機器學習/深度學習等模型進行構建，但是它最大的問題就是沒有考慮不營銷也能轉化的那一部分自然轉化流量，因此建模目標和商業目標并不完全匹配。

（2）UPLIFT 模型

UPLIFT 模型則用一個或多個模型來分別預測用戶在營銷下的轉化率和非營銷下的轉化率，這兩個值的差值就是 UPLIFT。最終我們根據 UPLIFT 值的大小來決策是否投放。

對比上圖中響應模型和 UPLIFT 模型曲線圖可以看出，UPLIFT 模型會導致干預時間提前。在用戶流失預警場景中，運營需要對即將流失的用戶進行提前挽留。在實際應用中，預測用戶流失的具體時間是沒有意義的，對這部分用戶施加挽留措施可能已經錯過最佳干預時點，而預測能夠被運營措施挽留的用戶才有落地價值。

2、UPLIFT 模型和因果推斷

UPLIFT 模型本身是因果推斷領域的，上圖簡單總結了基于觀察研究的因果推斷。首先包括經典的因果推斷方法，這類方法主要是研究平均干預效應，形成策略效果的整體方向性評估，比如有學者研究“吸煙是否有害健康”，得出長期吸煙會降低壽命期望的結論，這樣的結論往往是方向性的，形成不了具體的策略，這就是我們在實際工作中面臨的一個問題——即因果推斷方法怎么去落地。另一方面，UPLIFT 模型屬于研究異質因果效應類的模型，發現對不同的群體或者不同的個體進行干預所產生的效果是不一樣的，從而發現干預機制規律，形成個性化的策略落地。

接下來我們介紹幾個定義：

（1）Neyman-Rubin 潛在結果框架: 個體（樣本）由自身固有屬性呈現出潛在結果，這種潛在結果往往在現實世界中只能存在一面，這就會帶來一個很大的問題：歸納偏置（Inductive Bias）。

（2）CATE:  UPLIFT 模型的建模目標。

（3）無混雜基本假設（Unconfoundedness）：對混淆因素進行控制（且沒有未發現混雜因素）進行預估才能得到無偏的 CATE。

3、UPLIFT 模型的行業應用

UPLIFT 模型有廣泛的行業應用，應用途徑大概分為兩類：一類是評估干預的異質性效應 HTE。以 A/B 測試為例，可能在整體上觀測到的干預效應不顯著，但是通過 UPLIFT 模型下鉆能找到干預效果顯著的子群體。一類是策略優化，包括公共服務領域和互聯網個性化營銷領域的策略定制。

二、技術挑戰

1、UPLIFT 模型建模過程

UPLIFT 建模首先是數據收集，一般情況下我們先創建隨機對照實驗，實驗組全都進行干預，對照組都不干預， 隨后收集樣本用 UPLIFT 模型建模。

以 T-Leaner 為例，干預樣本可以構建一個響應模型，非干預樣本可以構建一個響應模型，最后得到的打分求差就是 UPLIFT 值。

2、UPLIFT 建模的兩個核心問題

UPLIFT 建模有兩個核心問題：

（1）混雜因素偏置 Confounding Bias

由于干預機制導致的選擇偏差，引起干預樣本和不干預樣本的特征分布不一致，產生了混雜因素。這一類混雜因素一方面會影響干預，也會影響結果。由于混雜因素的存在，我們無法得到一個干凈的因果效應。具體案例比如：

① 流行度偏差：曝光集中在熱門干預。

② 選擇偏差：不同人群物品曝光差異。

基于這樣的樣本去建模大概率是得不到置信度高的結論的。

主要的解決方法：

?① 在 loss 引入傾向分正則項。

② 在模型結構引入傾向分鏈式、對抗結構。

③ 傾向分逆加權采樣。

④ 解離表征：試圖將混雜因素項解離到一個向量中。?

（2）歸納偏置 Inductive Bias

如下圖所示：當樣本/個體分別在干預/不干預的模型下進行打分后的分布不一致時，我們對干預打分-非干預打分差值（CATE）進行分布統計時會發現抖動很厲害，不同個體/群體之間的 UPLIFT 差別很難分辨，這說明 UPLIFT 模型預測基本是失效的。 

這個案例就展示了歸納偏置（Inductive Bias）問題：從模型架構角度，預估反事實結果無監督信號，或潛在結果預估正則化程度不一致，導致最終 UPLIFT 預估不穩定。

回到 Neyman-Rubin 潛在結果框架，對于不同的個體我們只知道干預的結果或者不干預的結果，不可能同時知道干預和不干預的結果，這導致了兩個潛在結果預估的分布不一致；而且我們的深度模型建模目標往往是 CTR 或者 CVR ，他們本身不可能直接得到一個增益得分（UPLIFT），這就導致我們的建模目標和最終評估的指標是不一致的。在圖中我們可以看到 CATE 的分布與潛在結果預估得分分布完全不一致。這一系列的問題我們都總結為歸納偏置問題。歸納偏執問題是 UPLIFT 模型的一個核心問題，目前學界大概提出了以下四種解決方法：

① 反事實輸出向量一致性，MMD 等分布對齊方法；

② 設計合理的共享參數架構，FlexTENet、S-Net；

③ 反事實參數差異限制；

④ 在模型結構引入重參結構（reparametrization），EUEN。

3、UPLIFT 模型應用挑戰

介紹完 UPLIFT 的核心問題后，接下來簡單說一下 UPLIFT 模型的應用挑戰。在金融領域主要有兩大類：一類是多值/ 連續值干預，一類是連續結果預估。

三、深度 UPLIFT 模型發展脈絡

?沿著剛剛提出的 UPLIFT 模型的兩大核心問題——混雜因質偏置和歸納偏置，學界和工業界提出了很多解決方案。

首先最基本的是 Meta-Learner，代表的建模方案有 S-Learner 和 T-Learner，隨后進入深度學習后就演化出來以解決混雜偏置為代表的 DragonNet、DESCN、S-Net、CFRNet 等，和以解決歸納偏置為代表的 FlexTENet、S-Net、EUEN、DESCN、GANITE、CFRNet 等。?

四、應用案例：信用卡還款劵營銷

接下來介紹 UPLIFT 模型在金融科技領域的應用案例。UPLIFT 模型的應用往往需要結合運營措施和模型迭代。在運營活動中我們從小流量隨機投放開始收集干預/非干預的樣本，然后進行可行性驗證及實驗設計、策略性分客群投放、UPLIFT 模型構造及投放評估。

其中 UPLIFT 模型方案完成了三代迭代：

（1）第一代解決方案：Meta-Learner

第一代解決方案以 Meta-Learner 為主，快速上線以達到業務的目標，業務的痛點是期望控制營銷 ROI 并放量。 

（2）第二代解決方案：從 CFRnet 到 EFIN

第二代主要是以深度學習架構為基礎的，主要目的是為了實現多劵個性化運營， 是一個多值干預的問題。主要用到的模型有 CRFnet 和自研的 EFIN （Explicit Feature Interaction uplift Network）。

這里我們重點介紹下自研的 EFIN 模型。這個算法主要有三個模塊：

第一個模塊是自交互層，用一個 Self-Attetion 網絡實現大規模用戶特征的充分學習。

第二個模塊是整個算法的關鍵，將干預變量 T 單獨進行顯式表示學習，這有利于解決多值干預問題。隨后將干預 T 和特征 X 采用注意力機制交叉，加強異質性效應學習，而這恰恰是 UPLIFT 模型要學習的目標。并使用了重參（Reparametrization）法作為預估輸出，緩解了潛在結果打分分布不一致的問題。

第三個模塊使用干預約束項，讓模型難以區分樣本是否有被干預過，以圖解決混雜偏置（Confounding Bias）問題。

（3）第三代解決方案：多目標 UPLIFT 模型

多目標 UPLIFT 模型為了同時建模 Ctr-Lift 和 Value-Lift， 預期實現 ROI>1 的同時實現 GMV 增長。里面最大的難點是金額的 UPLIFT 建模困難，因為金額本身兩個反事實的預估結果就方差很大，再相減得到的 UPLIFT 方差更大，想要得到穩定的 UPLIFT 是比較難的，目前還在著力解決中。

五、總結

這次講座中，介紹了 UPLIFT 建模的兩大核心問題以及兩個應用挑戰和三代的解決方案，并重點介紹了自研 EFIN 模型。未來會在多目標 UPLIFT 建模、ROI 約束、動態UPLIFT 建模、 觀測數據糾偏這一系列方向中去更深入的研究。

六、問答環節

Q1：非隨機實驗獲得的有偏樣本用 DragonNet 這種網絡同時建模 Y 和 T 有效果嗎？

A1：這個肯定有效果，我們針對觀測數據一般情況下都會選擇這種傾向性得分的方式建模，傾向性得分方式的應用可能會用 DragonNet 這樣的模型結構，在模型結構中直接加上傾向性得分。另外一個更直接的方式就是直接根據傾向性得分的分布進行樣本加權采樣。

Q2：潛在結果存在歸納偏置對 UPLIFT 預估會帶來什么樣的影響？

A2：這個其實我剛剛那個圖講得比較清楚了，因為我們的深度學習模型是分別預估兩個反事實的 CTR，它們的建模目標實際上是兩個 CTR， 這兩個 CTR 求差會發現這個差值的方差較大。

Q3：神經網絡的輸入一般做什么處理，連續型特征和離散型特征有什么區別？

A3：這個問題就不是一個 UPLIFT 問題了，一般情況下就是做 Embedding ，類別型的就做 One-Hot。

Q4：在您的第二代解決方案里，Meta-Learner 比 EFIN 之外的其他 NN 模型都要好，S-Learner 里面的基模型也是這個模型嗎？

A4：對，S-Learner 它里面也是一個 DNN 。

Q5：深度學習模型相比于因果森林和 UPLIFT-Tree 模型，各有什么樣的優劣勢？

A5：深度模型最大的優勢就是采用復雜網絡結構，如特征交叉、注意力機制等，對特征的充分學習；森林和樹模型的最大優勢就是穩定性，并且森林類模型的建模目標直接就是 CATE。

Q6：如果只有觀測數據的話，怎么評估 UPLIFT 模型的準確性？

A6：評估指標離線我們主要用到的是 AUUC 和 QINI，在線可能主要還是轉化成一個財務指標來看它的營銷帶來的一個 ROI， 取決于我們的任務目標。

Q7：在金融場景下因果推斷的應用與搜廣推下的應用有什么區別？

A7：金融場景下實際上也有搜廣推， 但是確實金融場景有它的獨特性的， 這種獨特性在于它的轉化鏈路非常長，它涉及到它的授信、核卡等這樣的一類審批流程，另外金融里怎么做金額的預估也是一個難點。

Q8：UPLIFT Model 和 DML 各有什么優劣勢？

A8：UPLIFT Model 和 DML都用來求解 CATE。UPLIFT Model 以機器學習作為主要工具，如樹模型，深度學習，同時融合了因果推斷的思想。而 DML 模型以計量經濟學的思路指導機器學習工具進行 CATE 的預估。UPLIFT Model 是個更大的范疇，部分模型也借鑒了 DML 的思想。

Q9：UPLIFT 模型主要用在新客還是老客上面，如果老客只有百萬量級，能否使用模型?

A9：量級問題其實是一個很關鍵的問題，但是曝光量級其實不是最重要的， 最重要的是你的正樣本有多少， 正樣本才是決定能否建模的關鍵。

Q10：EFIN 代碼是否有開源？

A10：論文審核后會開源。