作者簡介

龍川涇渭，攜程算法工程師，專注異常檢測、根因分析、時間序列預測等領域。

攜程火車票包含1000+的業務指標，人工監測指標的異常情況耗時費力，而由于業務差異，基于規則和簡單統計學的檢測方案只能覆蓋到單個指標或者單類指標，并且不能隨著新業務上線或者功能變動靈活動態的調整相應的規則，并不適用于大量不同業務線的指標。我們希望使用AI算法來代替人工，對指標進行全自動的監控，旨在發現指標的異常和導致異常的潛在原因。

具體來說，對于異常檢測，使用六種無監督檢測算法計算異常得分，根據時間序列特性和指標的業務特點計算異常閾值，集成多種算法的異常結果進行硬投票，得到異常結果。對于根因定位，集成了Adtributor、Hotspot等四個算法做硬投票系統，按投票次數降序輸出根因結果。此外根據指標的重要程度，設置不同的投票規則，來權衡精召率。

一、背景

最近幾年，火車票業務持續高速成長，業務指標種類繁多，如何快速準確的發現指標的異常以及導致異常的原因，并及時排除問題顯得尤為重要。基于AI的異常檢出能力，可以根據指標的歷史數據分布規律，實現實時監測，幫助開發人員盡早的發現問題和挖掘產生問題的原因。

1.1 業務指標特點

我們從已有的歷史監控指標中，發掘時序數據的變化規律，從而根據數據的分布特點選取合適的算法。從圖1我們可以看出，火車票業務的核心業務數據，主要呈現兩種規律：

1）周期型時間序列，受人們出行規律的影響，大部分核心業務指標都會呈現較強的周期型規律。由于多數用戶在工作日買票，周末出行，就形成工作日的支付票量和出票票量比周末多的規律，而出行票量則表現出剛好相反的趨勢。在不同業務線下，相同的業務指標之間的周期規律也不盡相同。

2）平穩型時間序列，對于任意時刻，如果它的性質不隨觀測時間的變化而變化，那就認為是平穩型時間序列。由于指標本身的性質和偶發性的因素影響，有些指標沒有很強的規律性，而展現出相對穩定的趨勢。

圖1 核心業務指標的時間序列類型

不論是平穩型還是周期型指標，根據當前的業務情況上線新的營銷策略，發放優惠券等活動，尤其是對出行的影響巨大的疫情及其相關的政策，均會引起指標一定程度的劇烈波動，如陡升，陡降，整體抬升或降低。

1.2 主要痛點

1）基于規則的異常檢測識別適用性差?；疖嚻睒I務指標目前有1000+，人工對所有指標進行檢測耗時費力。而基于業務規則的檢測方案只能覆蓋到單個指標或者單類指標，并且業務規則的配置需要對業務特點熟悉，對于新業務上線或者功能變動則不能靈活動態的調整相應的規則，并不適用于大量不同業務線的指標。 

2）大部分核心指標都是和出行相關的，而近三年由于疫情的影響，在特定的時間窗口內，用戶的出行規律變化復雜，導致精準捕捉指標的周期變得困難，從而增加了異常點的檢出難度。

3）異常故障需要數據分析師排查。當某個業務指標發生異常，需要快速準確的定位到是哪個交叉維度的細粒度指標的異常導致的，以便盡快做進一步的修復止損操作。由于指標維度多，每個維度取值范圍大，導致人工介入解決問題的難度和時間成本高。

二、異動歸因系統介紹

針對業務需求、指標的特點和當前存在的痛點等問題，我們開發了一套異動歸因系統，它分為異常檢測和根因定位兩個子系統。異常檢測系統負責將各業務指標的突然上漲和下跌等異常情況檢測出來，根因定位系統是在指標出現異常的情況下，找出引起異常的原因。

2.1 異常檢測系統

由于不同業務線指標數量多，規律差異大，無監督算法更符合火車票業務需求。常見的無監督異常檢測算法如表1所示【1】，對于局部異常點， LOF（局部異常因子）在統計上優于其他無監督方法，而使用K次（全局）最近鄰距離作為異常評分的KNN是統計上最好的全局異常檢測算法。

綜合考慮局部異常和全局異常點的檢出能力，以及訓練時長，最終確定了LOF，KNN，CBLOF，COF，IForest，PCA作為火車票的異常檢測算法。

表1 常見異常檢測算法性能分析

無監督算法的性能在很大程度上取決于其假設和潛在異常類型的一致性【1】，所以對不同指標經常出現的異常類型的分析至關重要，以便于選擇合適的檢測算法。我們對典型的一些周期型指標序列和平穩型指標序列的異常情況進行分析統計，如圖2所示：

圖2 核心業務指標的異常點類型

分析發現，平穩型指標序列（a）出現的主要是全局異常點，而局部異常點主要分布在具有趨勢性和周期性的序列（b）、（c）和（d）中。由于相同業務線的指標趨勢規律大致相同，出現的異常類型也大致一樣，我們可以根據不同業務線的指標序列類型，應用不同的算法組合。

在分析指標的異常類型和算法選取之后，我們需要根據指標的不同分布情況，針對每種算法的異常得分選取合適的閾值，得到最終異常結果。我們分析了部分核心指標的概率密度分布，對不同數據的分布采用了不同的閾值算法，最終確定在低偏態高對稱分布下，Z-score+肘部法則的方法計算閾值，在高偏態分布下，使用箱型圖（Boxplot）計算閾值。

圖3 異常檢測系統流程圖

經過如上分析之后，我們的異常檢測分析流程如圖3所示，主要分為時間序列分析、異常得分計算和異常閾值計算三個模塊，下面我們分別介紹：

1）時間序列分析。當時序數據滿足平穩型檢驗，直接使用全局檢測算法進行序列的異常得分計算，同時使用Z-score+肘部法則的方法，計算異常得分閾值。當時序數據滿足周期性檢驗時，使用STL算法提取時序數據的周期性分量和趨勢性分量，將殘差分量進行異常得分和異常得分閾值計算。當時序不滿足周期性檢驗時，將時序數據轉化為概率的分布圖，如果偏度低于閾值，使用Z-score+肘部法則的方法計算異常得分閾值，否則使用箱型圖計算。

2）異常得分計算。根據對異常類型的檢出能力，分為全局異常檢測算法組：{KNN, IForest, PCA, CBLOF}和局部異常檢測算法組：{LOF, KNN, COF, CBLOF}。

3）異常閾值計算。箱形圖是通過計算一組值的最大值Q4，上四分位數Q3，中位數Q2，下四分位數Q1，最小值Q0，來描述樣本分布的離散程度以及對稱性。一般情況下，箱形圖不需要對樣本進行任何假定，在對樣本具有較高的異常容忍度的同時，能夠描述樣本的離群程度。

Z-score是描述一個值和一組值的平均值的偏離程度的統計測量分數，定義如下：z=((x-μ))?δ。肘部法則定義每個類的畸變程度等于每個變量點到其類別中心的位置距離平方和，隨著類別數量的增加，平均畸變程度的改善效果會降低，而改善效果降幅最大的位置對應的值就是肘部，該方法一般用于聚類數量的選擇。

這里我們結合Z-score和肘部法則，計算待檢測時間序列的|z|序列,然后對其進行降序排列得到|z|desc序列，最后利用肘部法則得到肘部值作為異常閾值。

最后根據每種算法的異常得分和異常閾值進行分析，以投票最多的作為最后的異常結果。針對指標的重要程度設置不同的投票規則權衡精召率，比如更重要的P0指標，降低投票閾值保證異常不漏報，而對于不太重要的P2指標，適當提高閾值保證精確率。

2.2 根因定位系統

在我們的各類火車票核心業務指標中，都是多維度的可加性指標集合，當總指標被檢測出異常之后，需要盡快定位是哪些交叉維度的細粒度指標導致了總指標的異常。

例如對于某個業務線的訂單量指標A，它涉及到出發城市、APP渠道、訂單類型等維度，各維度又包含一系列的維度值（元素），出發城市：北京，上海，廣州等，APP渠道：支付寶小程序，微信小程序等，訂單類型：國內，國外。當總指標A發生異常時，最可能的異常原因可以表示為不同維度的元素集合，如{訂單類型=國內}，或者{出發城市=北京&廣州，APP渠道=微信小程序}等。這個查找定位交叉維度的細粒度元素集合的過程就是根因定位。

多維指標數據具有以下兩個特征：

1）數據的總量大。指標包含多個維度，某些業務指標包含20+的維度，并且每個維度包含不同的屬性值，比如城市維度包含全國600+屬性值；

2）隨著數據指標維度的分層，維度集合總數成指數級增長，并且維度之間具有復雜的相互影響關系。

我們的問題可以歸結為，在所有維度和維度值組成的集合里，找出導致總指標發生突變的維度和維度值子集。這樣需要設計一個合理的得分函數，來評估每個子集是否是根因的得分，然后選出得分最高的子集即可，由于搜索空間很大，所以需要各種啟發式搜索方法或者剪枝策略。

我們調研常見的幾種啟發式搜索算法。

Adtributor【2】算法假定導致總指標異常的根因只會出現在某一個維度上，它提出EP值（解釋力）和S值（驚奇力）兩個得分指標來評估子集，EP值表示該子集的指標波動和總指標的波動的比例，S值是指維度下各個維度值的取值分布是否有變化。它的核心思想是將多維度根因分析問題分解為多個單維度根因分析問題，采用解釋力和驚奇力定位每個維度下的異常元素集合，最后根據每個維度總的驚奇力值大小匯總輸出根因集合。

HotSpot【3】設計了一種叫potential score的得分函數，并顯式的考慮了多個根因同時作用的情況，采用蒙特卡洛樹搜索（MCTS）算法來解決巨大搜索空間的問題，并使用了分層剪枝策略降低搜索復雜度。

Squeeze【4】算法主要是針對HotSpot進行了三個改進，首先提出泛化的RE（ripple effect）原則，可以直接處理由可加性指標復合得到的率值指標；其次改進的PS（potential score）得分函數能捕捉到變化幅度較小的異常；最后是先對細粒度屬性組合進行聚類，然后在每一類組合中去搜索根因，顯著降低定位時長。

Psqueeze【5】是對Squeeze的擴展，它提出一種新的基于GRE（general ripple effect）的概率聚類方法，將屬性組合分組到不同聚類中，然后根據GPS（general potential score）來評估屬性組合是根因的可能性。

圖4 根因定位系統流程圖

最后我們根據火車票業務指標的特點，設計了如圖4所示的根因定位系統，當異常檢測系統檢測到某個指標出現異常時，即進入根因定位系統。根因定位是根據指標真實值和期望值的差距大小來確定根因的，它分為數據構建和根因定位算法兩個模塊：

1）構建數據。首先對指標進行維度拆分，得到最細粒度指標的歷史數據時間序列，再根據序列特性采用不同算法進行預測。如果序列具有平穩型，采用指數加權平均法（Ewma）進行預測，否則使用異常點前3個點位的中值作為預測值，最后結合歷史值（真實值）和預測值（期望值）建立數據立方體。

2）根因定位算法。使用四種常見的根因定位算法分別定位，組成硬投票系統，按照票數倒序輸出根因集合。根據火車票核心業務指標維度和維度值多的特點，結合奧卡姆剃刀原則思想，微調了Adtributor算法EP值閾值，以及對Hotspot算法的PS評分函數進行修正，在不損失根因定位準確率的情況下盡量精簡根因集合?？紤]到檢測時長，當待檢測指標元素組合數量大于1000時，不使用Hotspot算法，元素組合數量超過10000時，只采用Adtributor進行根因定位。

三、異動歸因實踐結果

案例業務背景：出行相關的票量受自然天氣影響較大，當出現極端天氣時，票量一般會出現突然下跌或上漲，如圖5所示，該情況需要及時識別異常，并分析出引發指標異常的相關維度和維度值。

圖5 業務線A退票量的異常檢測結果

隨著臺風“杜蘇芮“在7.24日被中央氣象局升級為超強臺風，并在28日上午登陸福建省晉江市，近日來造成多地區出現極端強降雨現象，導致大量交通工具延誤甚至取消。圖5展示的是業務線A在近兩個月的退票量情況，退票量有較明顯的工作日高于雙休日的周期性規律，7月27日，7月31日和8月1日出現較明顯的退票小高峰，符合需要識別異常點的預期。

在檢測出異常之后，根因定位系統對出票票量的城市維度進行根因定位，結果如表2所示，

表2 根因定位結果表

為了分析根因定位系統的準確性，我們手動計算城市維度的根因得分，然后對比算法和人工分析的異同。首先根據adtributor算法的檢測原理，分別計算EP值和S值，方程式如下，

其中，A為真實值，F為預測值，下標i為維度名，j為維度下的元素名，m為異常指標名。

其中，p為先驗概率，，q為后驗概率，。然后以EP和S的加權和作為根因得分RT_score，得到不同異常日期的城市維度的人工根因定位結果，如圖6所示，

圖6 不同日期城市維度的人工根因定位結果

從圖6可以看出，7月27日的退票票量異常，從出發城市維度分析，主要是由揭陽和廈門造成的；從到達城市維度分析，主要是由廈門和南昌造成的，人工定位的和算法檢測的根因結果相符合。而超強臺風杜蘇芮正是在7月28日登陸福建，造成東南沿海部分城市出現暴雨天氣，導致大量航班和列車取消或者停運，從而影響所在地區城市的退票票量異常升高。

7月31日和8月1日的退票票量異常，不論是從出發城市還是到達城市分析，北京都是引起退票退票升高的首要原因。這與根因定位系統的檢測結果吻合，并且能將變化幅度大但是體量小的城市剔除。

比如7月31日的出發城市維度分析，威海和大理的RT_score較高，但是由于其退票量體量很小（只占南京15%的票量），算法沒有將其判定為根因。這兩天退票量異常的根本原因依然是受超強臺風杜蘇芮的影響，7月29日至8月1日杜蘇芮在華北地區造成“遠距離臺風暴雨”，北京地區超300趟次航班取消和43趟列車停運，導致北京市退票量異常升高。

這個案例較好的展示了異動歸因系統對陡升型異常的檢測能力，同時能快速并且相對準確的定位到導致異常的原因。

四、總結和展望

4.1 總結

本文主要介紹了異動歸因系統在火車票業務指標上的初步應用，首先分析業務指標的時間序列類型，以及不同業務數據出現的異常類型，針對指標的異常類型選擇合適的檢測算法。然后利用根因定位系統發掘引發異常的原因，根據不同的數據類型選擇相應的預測算法，構建根因定位數據集，最后利用四種根因定位算法進行根因定位。

目前異常檢測系統處于試運行初期，僅針對核心業務指標做監控，對平穩型時序和強周期型時序的異常檢測能力較好。隨機挑選了部分指標的異常檢測案例，對照人工核驗結果，精確率為67%，召回率為83%，F1-score為74%，為了滿足核心指標減小漏報的需求，調低投票閾值以提高召回率。后期針對接入的非核心指標，可以適當調高閾值提高精確率。

在節假日出行期間，大部分指標迎來一定程度的連續性上漲，這部分日期很容易被算法識別成異常，但絕大部分異常在業務上屬于正常的數據波動。目前的做法是對結果做后處理，將節假日的異常設為正常，這樣雖然能避免誤報，但會漏掉少數真實的異常。一種可以嘗試的做法是，對去年同期的數據計算波動情況，根據閾值來判定異常。不過由于火車票業務發展迅速以及疫情原因，往年同期的數據參考意義不大，并且不同業務線指標的閾值設置和調整也是個問題。

最近幾年由于疫情的影響，以天為單位的出行相關指標，周期規律難以捕捉，進而影響STL分解的準確率，導致檢出難度大，這也是目前不選擇通過對比實際值與預測值的偏離情況的方法做異常檢測的一個重要原因。

根因定位系統可以較準確的定位出維度較少的根因。多維度交叉的根因由于數據量大，細分到細粒度指標的KPI統計值就小，而值較小的時序容易引起較大的預測偏差，從而影響根因定位的準確性。

4.2 展望

1）提高其他時間序列類型的檢出能力。比如時間序列漂移現象，平穩+漂移，周期+漂移等類型；

2）新增不同類型異常的檢出能力。目前異常檢測算法對指標陡升和陡降異常具有較好的檢出能力，而對整體抬升或整體下降異常，連續性異常的檢測能力不佳；

3）在業務需要的情況下，提高多維度交叉的根因定位準確性。