?作者 | 野生梨，攜程算法工程師，關(guān)注因果推斷在實際工業(yè)項目上的探索和應(yīng)用。

一、背景介紹

我們的日常生活中充斥著各種需要推斷原因和結(jié)果的問題，比如，吸煙是否會導(dǎo)致肺癌，大學(xué)教育是否能夠提高收入水平？有時，當(dāng)我們試圖回答這些問題的時候，會陷入相關(guān)的陷阱，即認為相關(guān)等于因果。

比如，倫敦曾經(jīng)有一個調(diào)查機構(gòu)基于數(shù)據(jù)發(fā)現(xiàn)，在很長一段時間內(nèi)，發(fā)生車禍的數(shù)量和司機穿的衣服重量之間呈現(xiàn)正向且顯著的相關(guān)性，所以他們得出結(jié)論，認為厚重的衣服會影響司機的行動能力，從而更可能導(dǎo)致車禍的發(fā)生。

基于此結(jié)論，調(diào)查機構(gòu)的研究人員建議政府部門應(yīng)該立法規(guī)定——司機在開車時不得穿厚重的衣服。但是實際情況果真如此嗎？

其實，這就是個典型的偽相關(guān)結(jié)論。因為后續(xù)的調(diào)查研究發(fā)現(xiàn)，司機穿厚重的衣服往往是因為下雨，而下雨的時候路況變差能見度較低，而大多數(shù)司機并不在下雨天減速，這才是導(dǎo)致大部分車禍發(fā)生的原因之一。得到這種偽相關(guān)結(jié)論，往往是因為我們在分析的過程中忽略了類似下雨這樣的混雜變量（如圖1-1所示），從而認為觀察到的兩個結(jié)果變量（司機衣服的重量和車禍數(shù)量）之間，有著某種可能不存在的因果關(guān)系。

圖1-1  倫敦出租車司機穿衣和車禍問題的因果結(jié)構(gòu)

正如上面所說，由于混雜因素的存在，會導(dǎo)致我們分析數(shù)據(jù)出具結(jié)論的時候產(chǎn)生偏差。那么，是否有一種方法可以幫助我們回答這樣的因果問題呢？答案是肯定的，那就是因果推斷。

因果推斷是專門研究此類因果關(guān)系的科學(xué)，即尋找變量之間的因果關(guān)系，并且預(yù)估由于因?qū)斐尚?yīng)大小。互聯(lián)網(wǎng)公司中每天都在進行的隨機實驗（AB實驗）就是因果推斷中的黃金準則，即將研究對象隨機分組，對不同組實施不同的干預(yù)/處理，然后觀察結(jié)果的變動，從而驗證干預(yù)/處理是否是造成結(jié)果變動的原因，進而得到干預(yù)/處理造成結(jié)果變動的程度。

但是需要承認的是，在大多數(shù)情況下我們由于某些原因（比如成本限制或者道德風(fēng)險）或者項目本身性質(zhì)而無法實行嚴格的隨機試驗。比如，攜程市場部為了促進用戶在暑期的旅游消費，上線了一個營銷活動， 在這個場景下我們想要知道這個營銷活動是否有效（是否能帶來收益增量），以及能帶來多少的價值增量，隨機實驗就顯得無計可施。因為我們并不能在做活動期間通過隨機分流的形式，控制某個版本的用戶參加活動，而另一個版本的用戶不參加活動，這首先對于用戶來說是具有價格歧視（假設(shè)活動會有優(yōu)惠）的，當(dāng)然對于公司來說也會潛在損失很大一筆收益（假設(shè)活動有效的情況下）。

那么，沒有了黃金法則，我們還能做什么來得到項目價值增量呢? 仔細思考不難發(fā)現(xiàn)，用戶是否參與活動以及最終是否下單，可能同時受其它混雜因素影響（如圖1-2所示），比如具有短期休閑旅游出行意圖的用戶更可能會參加活動并下單，而短期商旅用戶很可能并不會參加活動但是依舊會下單，同樣的混雜因素還有很多，比如消費能力和長期旅游出行習(xí)慣。怎么把這些混雜因素都去除或者控制起來，從而準確評估活動對于用戶下單的價值，便是此類分析任務(wù)的難點和挑戰(zhàn)。

圖1-2  活動/項目評估問題因果結(jié)構(gòu)

在因果推斷領(lǐng)域中，存在很多方法可以幫助我們解決上述分析中的難點和挑戰(zhàn)。這些方法大致可以分為兩類：

（1）完全消除混雜因素的方法，比如雙重差分法（Difference in Difference）、工具變量（Instrumental Variable） 和斷點回歸等，但是這些方法的應(yīng)用需要滿足嚴格的額外假設(shè)，在工業(yè)應(yīng)用中較少；

（2）控制混雜因素的方法，比如傾向分匹配PSM、逆傾向分加權(quán)法（IPTW）、Lookalike算法、合成控制等， 這些方法是通過調(diào)整樣本來減少樣本在混雜因素上不均衡的情況，從而達到控制混雜因素影響的目的，但是無法完全消除變量之間的內(nèi)生性。

針對無法使用隨機實驗進行評估價值的活動/項目，基于數(shù)據(jù)可得性和方法的易操作性，本文最終使用的是因果推斷中通過調(diào)整觀察樣本來模擬隨機試驗的方法——傾向分匹配（Propensity Score Matching, PSM），來控制同時影響用戶參與活動和下單的混雜因素，從而完成活動/項目的價值增量評估任務(wù)。

二、傾向分匹配(PSM)基本原理

傾向分匹配（Propensity Score Matching），是通過傾向分（Propensity Score）來匹配對照組和實驗組的觀察樣本，從而控制調(diào)整混雜因素的一種方法。傾向分是由Rosenbaum和Rubin于1983年首次提出[1]，其定義如下：

即給定混雜因素的條件下樣本進入實驗組的傾向。其中，T為實驗/對照組的標識變量，當(dāng)T=1時，代表實驗組，T=0代表對照組；X則為混雜因素變量集合。Rosenbaum和Rubin在論文中證明了在給定傾向分的條件下，混雜因素和樣本是否參與實驗變量之間是條件獨立的，這一性質(zhì)說明，通過對觀察樣本的傾向分進行匹配控制，即將實驗組和對照組中傾向分相近的用戶進行匹配， 使得對照組和實驗組在混雜因素的分布上實現(xiàn)均衡，從而達到控制混雜因素的目的。

2.1  傾向分估計

進行傾向分匹配的第一步則是估計觀測樣本（用戶）的傾向分。其實，這里的估計目標是我們很熟悉的有監(jiān)督分類學(xué)習(xí)任務(wù)，其實就是基于觀察樣本擬合一個分類模型來得到P(T=1 | X=x) 。理論上，常見的分類模型都可以在這里使用，比如支持向量機SVM、邏輯回歸LR、樹模型等，但一般來說會根據(jù)奧卡姆剃刀（Occam's Razor）原則，選擇簡單實施又能解決問題的LR來進行傾向分的預(yù)估。

2.2  匹配

得到每個觀測樣本的傾向分后，下一步就需要將傾向分相近的用戶進行匹配（如圖2-1所示），有很多種方式可以完成這個匹配步驟，常見的有以下幾種：

（1）設(shè)定閾值，當(dāng)兩個用戶傾向分距離小于等于閾值時，即被認定相近匹配；

（2）K近鄰，選擇傾向分距離最近的K個樣本作為相近匹配；

（3）K近鄰 + 閾值設(shè)定，選擇傾向分距離最近的K個樣本，且傾向分差距還要小于等于閾值，才可被認定為相近匹配。在實際應(yīng)用中選擇哪一種方式取決于哪一種方式能夠使得實驗組和對照組在混雜變量上平衡。

值得注意的一點是，PSM方法看似簡單但是使用時需要滿足以下3個假設(shè)條件：

（1）可忽略假設(shè)（Ignorability），當(dāng)控制可觀測混雜變量后，不可觀測的混雜變量對于結(jié)果的影響可以忽略不計；

（2）個體處理穩(wěn)定假設(shè)（SUTVA），樣本個體不受其他個體影響，即樣本獨立假設(shè)；

（3）共同支撐假設(shè)（Common Support），觀察樣本中，實驗組和對照組之間是有混雜特征相近人群存在的，即0<P(T=1 | X=x)<1，否則將無法使用傾向分找到的相近的對照組人群來對比實驗組進行價值增量評估。

三、 實際項目應(yīng)用

2020年底，攜程和某外部平臺開展等級匹配合作項目，針對該平臺內(nèi)滿足條件的不同等級的用戶提供領(lǐng)取對應(yīng)攜程等級會員權(quán)益的福利，整體項目周期為一年，每個外部平臺的用戶只可免費領(lǐng)取一次，領(lǐng)取后相應(yīng)的會員權(quán)益有效期為一年。

針對這個項目的價值，可以分為直接和間接：直接價值自然是合作帶來的直接收入以及新用戶的復(fù)購價值，而項目帶來的老用戶的后續(xù)復(fù)購價值則屬于間接價值。直接價值很容易就可以被計算出，但是對于間接價值來說，如前所述，由于混雜因素（比如消費能力、長/短期旅游出行意圖等）同時影響了用戶在外部平臺是否參加項目和用戶是否在領(lǐng)取后會在攜程平臺內(nèi)下單（如圖3-1所示），使得凈效應(yīng)的評估更為困難和復(fù)雜。

圖3-1  實際項目評估問題因果結(jié)構(gòu)

針對間接價值的評估，本文采用因果推斷中的PSM方法，在滿足項目要求的未參與項目用戶池中，篩選與參與項目的用戶在混雜特征上分布一致（相近）的用戶人群，匹配后的實驗組和對照組之間的差值即可認為是項目帶來的間接價值，整體的分析流程如圖3-2所示。

圖3-2  項目間接價值評估分析流程

3.1  對照人群候選池篩選

考慮到攜程平臺全量用戶量較大，且因為項目進行周期長達一年，對照用戶的候選池是用戶id和日期的笛卡爾積，整體數(shù)量可達到千億級別。但是，在計算項目對老用戶所帶來的間接價值時，只需要考慮攜程和外部平臺重合的老用戶部分，因此在數(shù)據(jù)預(yù)處理過程中，本文首先采用規(guī)則篩選出有外部平臺參與項目資格但未參與項目的攜程老用戶，并剔除代理等非自然用戶，再綜合計算成本和匹配效果的考慮，按照一定的比例進行隨機下采樣，最終得到對照用戶候選池。

3.2  特征設(shè)計和數(shù)據(jù)預(yù)處理

在特征設(shè)計和提取方面，本文認為影響用戶參與項目和后續(xù)復(fù)購的混雜因素可以分為基本信息、消費能力、出行意愿三類，共104個特征。

針對部分類別特征，比如年齡、性別、等級等，各類別之間地位相同，因此在特征提取階段，拆分成了多個虛擬變量。

完成提取特征后，在數(shù)據(jù)預(yù)處理階段，首先針對特征數(shù)據(jù)的質(zhì)量進行了校驗，未發(fā)現(xiàn)單一信息特征（即特征在樣本數(shù)據(jù)集中的取值完全一樣），其次針對變量中的缺失值進行了填充處理，最后因為不同的特征之間量綱不同對所有連續(xù)變量進行了Z-Score標準化處理。

3.3  傾向分匹配PSM

（1）構(gòu)建模型，估計傾向分

本文采用邏輯回歸LR模型對參與項目用戶和對照人群候選池用戶組成的樣本數(shù)據(jù)進行訓(xùn)練擬合，模型形式如式3-1所示：

其中，X為特征向量，而T為實驗/對照組的標識變量。

需要說明的一點是，在訓(xùn)練過程中，即使采用篩選后的對照人群候選池用戶，其量級也比參與項目用戶數(shù)量大很多，造成樣本數(shù)據(jù)不平衡的情況，從而導(dǎo)致整體預(yù)測準度和精度很低。為了解決樣本不平衡問題，本文對對照組候選池用戶進行了下采樣操作，再輸入模型進行訓(xùn)練，最終使用訓(xùn)練好的模型再對全體樣本進行預(yù)測，得到了每個樣本的傾向分。其中，訓(xùn)練所得模型的精確率為75.22%，召回率為65.40%，ROC曲線如圖3-3所示，AUC為0.79。

圖3-3  傾向分估計模型ROC曲線

（2）匹配及結(jié)果校驗

本文采用K近鄰 + 閾值設(shè)定的策略（K=1，閾值=0.001）進行用戶匹配，即針對每個參與項目的用戶在對照人群候選池中尋找與其傾向分絕對距離最近且小于等于0.001的用戶進行匹配，最終得到對照組用戶。匹配后的實驗組（參與項目用戶， 藍線）和對照組（未參與項目，橙線）用戶的傾向分分布如圖3-4所示，通過KS檢驗認為兩組匹配后的傾向分分布一致（KS-stat = 0.00057, p_value = 0.9771）。

圖3-4  匹配后實驗組/對照組傾向分分布

除了驗證不同組傾向分分布一致以外，還需要針對檢驗每個混雜變量在實驗組與對照組之間是否還存在顯著差異，如果不同組在所有混雜變量的均值上都沒有顯著差異，此時我們可以認為匹配后的實驗組和對照組樣本是“平衡”（balanced）的。

本文選擇使用效應(yīng)量（effect size）指標來評估不同組混雜特征均值差異，因為相比假設(shè)檢驗的p值來說，效應(yīng)量不受樣本容量影響，可以在不同研究之間進行比較。效應(yīng)量指標根據(jù)問題場景的需要有多種計算方式，本文針對連續(xù)變量和類別變量分別采用Cohen’s d(式3-2)和Cohen’s w(式3-3)來比較兩組均值的差異[2]。

效應(yīng)量的大小學(xué)術(shù)界尚未形成統(tǒng)一的共識，但是對于Cohen’s d，大多數(shù)學(xué)者認為效應(yīng)量小于0.2則可認為兩組之間的差距很小[3]，而對于Cohen’s w小于0.1則可認為差距較小。本文基于不同組混雜變量的均值和標準差，計算得到不同組的混雜特征均值的效應(yīng)度量均小于0.1，可以認為匹配效果較好，匹配后不同組在混雜特征上的分布達到均衡。

3.4  項目價值增量計算

經(jīng)過PSM得到控制了混雜因素的實驗組和對照組樣本后，本文根據(jù)兩組復(fù)購收益均值的差異，回答了以下兩個問題：

（1）項目是否有價值：通過對兩組用戶的人均復(fù)購收益進行T檢驗，發(fā)現(xiàn)可以以99%的把握（T-stat=35.21）認為，實驗組的平均復(fù)購收益顯著高于對照組平均復(fù)購收益；

（2）項目帶來了多少價值：計算兩組用戶的總復(fù)購收益的差值，得到項目整個周期的價值增量。

3.5  反駁推斷

雖然已經(jīng)計算得到了價值增量，但是因果推斷的工作中最重要的一環(huán)——反駁推斷尚未完成。在前面闡述的實踐過程中，我們不經(jīng)意間做出了很多假設(shè)，比如：

（1）問題的因果結(jié)構(gòu)如3-1所示，混雜因素作為混雜同時影響參與項目和下單，而不是作為中介物傳到同時參與項目和下單的因果鏈路；

（2）提取的特征都是可觀測因素，我們通過PSM控制了這些混雜，至于不可觀測混雜因素的影響可以忽略不計；

（3）個體選擇相互獨立。

為了邏輯的嚴謹性和結(jié)果的穩(wěn)健性，我們必須也要對假設(shè)的正確性做出證明，雖然我們并不知道真實的因果結(jié)構(gòu)/關(guān)系式怎么樣的，但是我們可以創(chuàng)造一些檢驗環(huán)境，然后采用已知的事實來反駁推斷[4]。本文采用了3個方法來說明假設(shè)的正確性和結(jié)構(gòu)的穩(wěn)健性：

（1）加入隨機變量和常數(shù)特征，重新進行PSM和因果效應(yīng)估計，發(fā)現(xiàn)和之前差異不大，說明參與項目和復(fù)購收益之間的確具有因果效應(yīng)，而不是由于不可觀測因素或者隨機波動導(dǎo)致的，這種因果效應(yīng)是穩(wěn)健的；

（2）安慰劑檢驗，將真實的實驗組和對照組標簽變成隨機生成變量，重新進行因果效應(yīng)估計，發(fā)現(xiàn)虛擬實驗組和虛擬對照組的結(jié)果差異顯著為0，認為實驗組和對照組之間的差異不是由隨機因素引起的，從而也說明是否參與項目式用戶復(fù)購收益的一個因；

（3）隨機子集抽樣，從樣本數(shù)據(jù)中隨機抽樣（80%），然后預(yù)估因果效應(yīng)，差異和全量預(yù)估差別不大，認為結(jié)果穩(wěn)健。

四、總結(jié)

項目/活動往往由于無法進行隨機實驗和混雜因素（比如時間、用戶歷史行為等）的存在而無法準確評估其所帶來的價值增量。本文采用因果推斷中通過調(diào)整觀察樣本來模擬隨機試驗的方法——傾向分匹配（Propensity Score Matching, PSM）， 控制了同時影響用戶參與活動和下單的混雜因素，從而計算得到了活動/項目的價值增量，為后續(xù)無法使用隨機實驗的分析場景提供了一種思路。

當(dāng)然，上述的評估流程還有很大的優(yōu)化空間，而PSM也不是因果推斷中唯一控制匹配的方法，如前所述其他方法比如雙重差分、斷點回歸、Lookalike相似人群算法、合成控制、聚類分析等都可以作為后續(xù)在項目價值評估問題中的研究方向。

參考文獻

[1] Rosenbaum, P.R. and Rubin, D.B., 1984. Reducing bias in observational studies using subclassification on the propensity score. Journal of the American statistical Association, 79(387), pp.516-524.

[2] Cooper, H., Hedges, L.V. and Valentine, J.C., 2009. The handbook of research synthesis and meta-analysis 2nd edition. In The Hand. of Res. Synthesis and Meta-Analysis, 2nd Ed. (pp. 1-615). Russell Sage Foundation.

[3] Sawilowsky, S.S., 2009. New effect size rules of thumb. Journal of modern applied statistical methods, 8(2), p.26.

[4] Sharma, A., Syrgkanis, V., Zhang, C. and K?c?man, E., 2021. Dowhy: Addressing challenges in expressing and validating causal assumptions. arXiv preprint arXiv:2108.13518.

[5] Pearl, Judea, and Dana Mackenzie. 2019. The Book of Why. Harlow, England: Penguin Books.

[6] Yao, L., Chu, Z., Li, S., Li, Y., Gao, J. and Zhang, A., 2021. A survey on causal inference. ACM Transactions on Knowledge Discovery from Data (TKDD), 15(5), pp.1-46.