一、背景

攜程酒店大前端為了監(jiān)測(cè)生產(chǎn)用戶運(yùn)行的穩(wěn)定性和流暢度，對(duì)大量的系統(tǒng)指標(biāo)、業(yè)務(wù)場(chǎng)景配置了監(jiān)控。在運(yùn)作的過程中我們發(fā)現(xiàn)，監(jiān)控確實(shí)能發(fā)現(xiàn)很多的問題，但由此帶來(lái)的排查成本隨著量級(jí)的增加也變的不可控。

以系統(tǒng)指標(biāo)監(jiān)控說明：

目前約有30+類型，如頁(yè)面慢加載、白屏等。每種異常監(jiān)控都是獨(dú)立的數(shù)據(jù)處理、預(yù)警機(jī)制、問題排查分析流程，互相之間沒有關(guān)聯(lián)。這一現(xiàn)狀導(dǎo)致了一個(gè)個(gè)的數(shù)據(jù)孤島，管理的高度碎片化，且無(wú)法復(fù)用，讓維護(hù)和新增的成本較高。

同時(shí)，問題的原因不盡相同，排查鏈路也各自獨(dú)立。舉個(gè)例子：頁(yè)面白屏異常上漲時(shí)，通過白屏的監(jiān)控規(guī)則，觸發(fā)預(yù)警后通知相關(guān)人員。排查人員從現(xiàn)有的白屏報(bào)表中進(jìn)行badcase分析，排查鎖定初步原因后，需要跨多個(gè)報(bào)表進(jìn)行交叉驗(yàn)證，直至找到根本原因，整個(gè)過程中會(huì)耗費(fèi)大量人力和時(shí)間成本。

在對(duì)頁(yè)面白屏問題的深入剖析中，發(fā)現(xiàn)其根本原因往往與服務(wù)失敗、服務(wù)耗時(shí)增長(zhǎng)、內(nèi)存溢出、增量數(shù)據(jù)拉取失敗等因素密切相關(guān)。在現(xiàn)有的鏈路繁瑣、異常之間沒有關(guān)聯(lián)性、分析效率低下、分析結(jié)果也不盡如人意。

基于目前情況，該如何找到解決方案呢？

經(jīng)過對(duì)流程及問題的梳理，羅列了一些當(dāng)前存在的核心痛點(diǎn)

數(shù)據(jù)角度：數(shù)據(jù)源分散，缺少關(guān)聯(lián)性，報(bào)表過多，監(jiān)控難維護(hù)&增加成本高

排查角度：現(xiàn)有流程鏈路長(zhǎng)排查不方便，非常依賴人工定位，系統(tǒng)并不能很好的給出實(shí)際有問題點(diǎn)的方向。

針對(duì)上述問題，優(yōu)化策略已明確成形，聚焦于幾個(gè)核心要點(diǎn)：

數(shù)據(jù)整合：整合分散的數(shù)據(jù)源，確保數(shù)據(jù)結(jié)構(gòu)的一致性與準(zhǔn)確性，為后續(xù)分析奠定堅(jiān)實(shí)基礎(chǔ)。

統(tǒng)一預(yù)警規(guī)則：抽取預(yù)警規(guī)則庫(kù)，形成統(tǒng)一的規(guī)則，減少重復(fù)編寫預(yù)警流程和調(diào)整規(guī)則，提高預(yù)警的效率和準(zhǔn)確性

算法歸因分析：引入算法模型，深入挖掘不同數(shù)據(jù)與維度間的內(nèi)在聯(lián)系，精準(zhǔn)歸因問題根源，有效規(guī)避人工判斷的主觀性與不確定性，提高故障排查的效率。

簡(jiǎn)化流程：縮短故障排查路徑，通過優(yōu)化聚合排查報(bào)表，讓問題定位更加直觀快捷。

二、智能歸因體系實(shí)現(xiàn)

2.1 整體方案

基于上述的優(yōu)化方向，我們搭建了酒店前端智能預(yù)警歸因系統(tǒng)，將多個(gè)數(shù)據(jù)預(yù)警孤島串聯(lián)起來(lái)，形成數(shù)據(jù)池。抽取統(tǒng)一且豐富預(yù)警規(guī)則，形成預(yù)警規(guī)則庫(kù)，保證預(yù)警準(zhǔn)確性。針對(duì)預(yù)警的異常，引進(jìn)算法模型，實(shí)現(xiàn)算法模型歸因分析，快速定位問題根源，并生成詳盡的歸因報(bào)告，給到開發(fā)明確排查方向。最終，將分析結(jié)果轉(zhuǎn)化為清晰的告警通知郵件&排查報(bào)表，助力團(tuán)隊(duì)迅速響應(yīng)，開展有效的故障排查與解決，大大提高了排查效率。

2.2 數(shù)據(jù)池

在整個(gè)體系中，搭建數(shù)據(jù)池是其重要的基石。數(shù)據(jù)池起到整合不同數(shù)據(jù)源的作用，將不同格式、維度的數(shù)據(jù)集中存儲(chǔ)在同一個(gè)數(shù)據(jù)池中，對(duì)其定義統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)及標(biāo)準(zhǔn)，確保數(shù)據(jù)一致性和準(zhǔn)確性。

拆解來(lái)看，將數(shù)據(jù)池劃分為六大字段維度：數(shù)據(jù)類型、平臺(tái)、指標(biāo)、核心監(jiān)控維度、基礎(chǔ)字段以及業(yè)務(wù)特有字段。細(xì)致的數(shù)據(jù)維度分類不僅使得數(shù)據(jù)匯總更加直觀，同時(shí)也大大提升了數(shù)據(jù)的結(jié)構(gòu)化處理能力、降低后續(xù)使用成本。

數(shù)據(jù)池的數(shù)據(jù)，為以下3個(gè)流程，提供了核心的數(shù)據(jù)支持：

1）算法模型的基礎(chǔ)輸入：為算法模型提供必要的輸入數(shù)據(jù)，確保模型運(yùn)算數(shù)據(jù)的準(zhǔn)確性和有效性。

2）預(yù)警規(guī)則的底表：作為預(yù)警系統(tǒng)的基礎(chǔ)數(shù)據(jù)，為規(guī)則設(shè)定提供堅(jiān)實(shí)的數(shù)據(jù)支撐，確保預(yù)警系統(tǒng)的精確性和可靠性。

3）監(jiān)控預(yù)警郵件badcase的數(shù)據(jù)來(lái)源：針對(duì)監(jiān)控預(yù)警郵件中的badcase，提供了詳細(xì)且多維度的數(shù)據(jù)來(lái)源，以便進(jìn)行深入的分析。

2.3 預(yù)警規(guī)則&加權(quán)

預(yù)警數(shù)據(jù)的準(zhǔn)確性，是預(yù)警歸因系統(tǒng)中的重要一環(huán)，如何讓監(jiān)控保證準(zhǔn)確、不遺漏，且降低誤報(bào)的概率呢？為了達(dá)到這個(gè)目標(biāo)，把數(shù)據(jù)進(jìn)行流量分級(jí)，且構(gòu)建了多類預(yù)警規(guī)則，以權(quán)重加權(quán)的方式，進(jìn)行預(yù)警判斷，最后把多個(gè)規(guī)則的預(yù)警結(jié)果匯總起來(lái)，成為最終的結(jié)果。

首先說說流量分級(jí)和預(yù)警規(guī)則。

從數(shù)據(jù)池獲取數(shù)據(jù)時(shí)，把數(shù)據(jù)本身的流量進(jìn)行分級(jí)，分為高、中、低、僅關(guān)注四級(jí)。根據(jù)類型不同，并針對(duì)不同流量級(jí)別設(shè)置了合理的變化率閾值。流量越大，則對(duì)變化率越敏感。

權(quán)重計(jì)算公式：權(quán)重=流量分級(jí)系數(shù)*變化率

舉個(gè)例子：數(shù)據(jù)變化率上升50%，通過規(guī)則，會(huì)計(jì)算出高級(jí)的權(quán)重值為max，中級(jí)的權(quán)重值為5，低級(jí)的權(quán)重值則為2，僅關(guān)注的權(quán)重值則為0。

在預(yù)警規(guī)則上，構(gòu)建了四種不同維度的規(guī)則，以確保數(shù)據(jù)異常&變化的及時(shí)發(fā)現(xiàn)與處理： 

1）單日同環(huán)比規(guī)則：通過對(duì)比當(dāng)前數(shù)據(jù)與上周同日（同比）或相鄰日期（環(huán)比）的數(shù)據(jù)，發(fā)現(xiàn)單日內(nèi)的顯著變化，如激增、驟減、新增或異常波動(dòng)。

2）連續(xù)多日（周聚合）趨勢(shì)波動(dòng)規(guī)則：除了關(guān)注單日的數(shù)據(jù)變化外，還制定了周維度的數(shù)據(jù)趨勢(shì)。通過對(duì)比每周的數(shù)據(jù)變化，能夠更準(zhǔn)確地評(píng)估數(shù)據(jù)的長(zhǎng)期或持續(xù)性的趨勢(shì)異常。這一預(yù)警規(guī)則不僅關(guān)注數(shù)據(jù)的變化幅度，還關(guān)注數(shù)據(jù)的變化方向和速度，從而更全面地把握數(shù)據(jù)的動(dòng)態(tài)變化，確保不漏掉那些單日波動(dòng)中被忽略的異常情況。

3）綜合流量變動(dòng)規(guī)則：該規(guī)則不僅考慮了數(shù)據(jù)本身的變化，還結(jié)合了與其相關(guān)指標(biāo)/大盤流量，從而降低因用戶流量放大、縮小而導(dǎo)致的數(shù)據(jù)變動(dòng)預(yù)警噪音，確保預(yù)警的準(zhǔn)確性。例如，針對(duì)頁(yè)面白屏異常，監(jiān)測(cè)異常率（異常數(shù)/頁(yè)面流量）。

4）分位線預(yù)警規(guī)則：針對(duì)非報(bào)錯(cuò)類數(shù)據(jù)源，引入了分位線規(guī)則，以天為單位設(shè)定最優(yōu)分位線作為基準(zhǔn)，實(shí)時(shí)監(jiān)測(cè)高于或低于該基準(zhǔn)的數(shù)據(jù)占比變化及波動(dòng)，確保數(shù)據(jù)的細(xì)微變化可以反饋出來(lái)。

基于以上四種預(yù)警規(guī)則，再結(jié)合數(shù)據(jù)本身的流量大小，設(shè)置了合理的變動(dòng)權(quán)重。通過對(duì)權(quán)重進(jìn)行加權(quán)計(jì)算后，能夠精準(zhǔn)得出每日的預(yù)警數(shù)據(jù)，確保系統(tǒng)與業(yè)務(wù)中的數(shù)據(jù)變動(dòng)得到及時(shí)發(fā)現(xiàn)和處理。

在得到各規(guī)則的對(duì)比權(quán)重值后，同樣根據(jù)流量分級(jí)進(jìn)行分類加權(quán)，對(duì)加權(quán)結(jié)果進(jìn)行閾值或權(quán)重的過濾，以確定在該規(guī)則下是否觸發(fā)預(yù)警（具體參考“觸發(fā)預(yù)警標(biāo)準(zhǔn)表”）。再根據(jù)不同的業(yè)務(wù)需求，疊加多個(gè)規(guī)則進(jìn)行最終的數(shù)據(jù)預(yù)警，以確保預(yù)警的精準(zhǔn)性，并有效降低預(yù)警的噪音。

2.4 模型歸因

有了實(shí)際預(yù)警的類型后，基于預(yù)警結(jié)果及預(yù)警池中全量異常數(shù)據(jù)，將其作為算法模型的數(shù)據(jù)輸入，經(jīng)過不同的模型進(jìn)行歸因分析，最終獲得歸因結(jié)果值。

在實(shí)踐中，考慮到對(duì)異常數(shù)據(jù)進(jìn)行本身根因的分析、與其相關(guān)的其他問題導(dǎo)致情況、趨勢(shì)問題等各類問題歸因，使用了以下三種算法模型：

• Adtributor算法
• Pearson相關(guān)系數(shù)
• 滑動(dòng)T檢驗(yàn)

2.4.1 Adtributor算法

Adtributor算法是微軟研究院于2014年提出的一種多維時(shí)間序列異常根因分析方法，在多維度復(fù)雜根因的場(chǎng)景下具有良好的可靠性。在任務(wù)中，首先對(duì)監(jiān)控的各種關(guān)鍵性能指標(biāo)(KPI)進(jìn)行實(shí)時(shí)異常檢測(cè)，當(dāng)一個(gè)KPI發(fā)生異常時(shí)，想要解除異常，定位出其根因所在的位置是非常關(guān)鍵的一步。歸因系統(tǒng)需要對(duì)檢測(cè)到的異常指標(biāo)進(jìn)行維度分析和根因定位，而Adtributor算法非常適用于這個(gè)場(chǎng)景。

首先對(duì)異常指標(biāo)進(jìn)行維度拆分，維度拆分意在從預(yù)警結(jié)果的諸多維度中，分析出哪幾個(gè)維度對(duì)一條預(yù)警造成的影響最大。

使用Adtributor算法來(lái)實(shí)現(xiàn)維度拆分主要包括以下幾個(gè)步驟：

1）數(shù)據(jù)收集：以pv、uv作為參考指標(biāo)KPI，將預(yù)警結(jié)果和預(yù)警池作為數(shù)據(jù)源，按維度構(gòu)造原始數(shù)據(jù)集。

2）異常檢測(cè)：采用ARMA時(shí)間序列模型對(duì)KPI進(jìn)行實(shí)時(shí)預(yù)測(cè)，將預(yù)測(cè)值F和真實(shí)值A(chǔ)對(duì)比，判斷KPI是否發(fā)生異常。

3）維度分析：Adtributor對(duì)異常KPI的所有維度和元素計(jì)算EP值和S值，從而定位到影響程度最大的維度。

下面對(duì)重要細(xì)節(jié)展開闡述：

數(shù)據(jù)收集

對(duì)于發(fā)生預(yù)警的數(shù)據(jù)，通過關(guān)聯(lián)預(yù)警池，獲取到每條預(yù)警在某個(gè)維度下，過去60天內(nèi)每天的明細(xì)pv、uv值。

異常檢測(cè)

ARMA（auto regressive moving average model，自回歸移動(dòng)平均）模型是研究時(shí)間序列的重要方法，它可以基于歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)的事情。

在每個(gè)維度下，基于過去59天的歷史數(shù)據(jù)，使用ARMA模型推理得到當(dāng)天的預(yù)測(cè)pv、uv值。將預(yù)測(cè)值與真實(shí)值進(jìn)行對(duì)比，可以判斷預(yù)警是否發(fā)生異常。

維度分析

將多維分析問題分解為多個(gè)單維分析問題，采用EP值和S值定位出每個(gè)維度下的異常元素集合，最后根據(jù)每個(gè)維度總的S值大小匯總輸出相關(guān)維度集合。

1）對(duì)于異常KPI，計(jì)算所有維度下所有元素的真實(shí)值和預(yù)測(cè)值的差異，即S值(Surprise, 意外性)，將每一維度下的元素依據(jù)S值大小降序排列；

2）對(duì)于每一維度，從上到下依次對(duì)排序后的所有元素計(jì)算其變化在KPI變化總量中的占比，即元素對(duì)于KPI異常的解釋能力EP值(Explanatory power, 解釋能力)。

EP值

對(duì)于每一維度，如果元素的波動(dòng)變化在異常KPI的波動(dòng)變化中的占比越大，則認(rèn)為元素越能解釋KPI異常的發(fā)生。EP值(Explanatory power, 解釋能力)用于衡量元素對(duì)異常的解釋能力。EP值計(jì)算公式如下：

式中，A為真實(shí)值，F(xiàn)為ARMA時(shí)間序列模型正常預(yù)測(cè)值，下標(biāo)i為維度、j為元素、m為異常指標(biāo)。EP值可以為正、為負(fù)、大于100%，但是每個(gè)維度下的所有元素EP之和必須為100%。EP為正表示可能是異常維度，為負(fù)表示不是異常維度，大于100%表示與KPI異常有非常明顯的正相關(guān)關(guān)系。

S值

如果KPI在某一維度下的真實(shí)值和預(yù)測(cè)值相差越大，則越有可能是異常維度。

KPI先驗(yàn)概率和后驗(yàn)概率的相似度可以采用相對(duì)熵(relative entropy)來(lái)衡量，進(jìn)而判斷維度是否具有意外性。JSD散度(Jensen-Shannnon divergence)是相對(duì)熵的一種變形，其對(duì)稱性好、對(duì)于零值具有適應(yīng)性、對(duì)相似度判別更加準(zhǔn)確，這里基于JSD散度，得到S值(Surprise, 意外性)公式如下：

其中，預(yù)測(cè)概率或先驗(yàn)概率計(jì)算公式為：

真實(shí)概率或后驗(yàn)概率計(jì)算公式為：

維度的S值為維度下所有元素的S值之和，即：

在得到維度拆分的分析結(jié)果之后，還需要做深度根因的定位，根因定位意在從預(yù)警結(jié)果中，找出造成該預(yù)警的深度原因。例如：預(yù)警類型為頁(yè)面白屏，而深度原因在于內(nèi)存溢出，算法需要通過頁(yè)面白屏與內(nèi)存溢出之間的關(guān)聯(lián)性，定位到深度原因。

通過計(jì)算預(yù)警結(jié)果所屬類型的uv、pv行為，與其他深度類型uv、pv的相似度，來(lái)匹配深度原因。深度歸因的實(shí)現(xiàn)是基于維度拆分的結(jié)果，具體來(lái)說：首先得到了一條告警影響最大的一個(gè)或者幾個(gè)維度，然后只獲取這些維度下的uv、pv指標(biāo)作為特征向量，忽略其他影響不大的維度。對(duì)于所有的候選深度類型，也獲取相同維度下的特征向量，然后計(jì)算向量間的余弦相似度，作為數(shù)據(jù)類型之間的關(guān)聯(lián)性指標(biāo)。相似度最接近的深度類型，即是該條預(yù)警關(guān)聯(lián)性最高的深度原因。

2.4.2 Pearson相關(guān)系數(shù)（Pearson Correlation Coefficient）

考慮到通過 Adtributor算法定位深度原因，沒有充分利用uv、pv的趨勢(shì)變化，而事實(shí)上趨勢(shì)的變化是預(yù)警判斷時(shí)的重要依據(jù)，因此這里補(bǔ)充使用了另外一種基于趨勢(shì)的相似度計(jì)算方法來(lái)定位預(yù)警的深度原因。

首先對(duì)預(yù)警明細(xì)表基于每個(gè)維度聚合，得到21天的pv、uv值作為特征表。然后對(duì)于每一條預(yù)警數(shù)據(jù)，以及待匹配的深度類型，都從特征表中獲取相關(guān)特征，然后計(jì)算特征間的相似度。

由于主要考慮特征在趨勢(shì)上相似性，因此選擇Pearson相關(guān)系數(shù)（Pearson Correlation Coefficient）作為相似度指標(biāo)。Pearson相關(guān)系數(shù)的絕對(duì)值越大，相關(guān)性越強(qiáng)，正數(shù)表示正相關(guān)，負(fù)數(shù)表示負(fù)相關(guān)。

總體相關(guān)系數(shù)公式如下：

其中 cov(X,Y)是X，Y的協(xié)方差，σX是X的標(biāo)準(zhǔn)差，σY是Y的標(biāo)準(zhǔn)差。

2.4.3 滑動(dòng)T檢驗(yàn)(Moving T test , MTT)

上述兩種方法分別通過維度拆分、考慮趨勢(shì)變化來(lái)定位預(yù)警的深度原因，已經(jīng)比較周全，但仍存在問題，例如：開啟的實(shí)驗(yàn)和頁(yè)面的預(yù)警不能完全匹配。因此針對(duì)實(shí)驗(yàn)維度，啟用了另外一種方案來(lái)解決，該方案通過匹配KPI的突變時(shí)刻與業(yè)務(wù)變更時(shí)間來(lái)實(shí)現(xiàn)。

具體來(lái)說，對(duì)于每條預(yù)警信息，首先獲取當(dāng)天分鐘級(jí)別的pv、uv值，分別作為兩組特征變量。對(duì)于每一組特征變量，使用滑動(dòng)T檢驗(yàn)(Moving T test , MTT)算法來(lái)定位發(fā)生突變的時(shí)刻。

滑動(dòng)t檢驗(yàn)是通過考察兩組樣本平均值的差異是否顯著來(lái)檢驗(yàn)突變。其基本思想是把序列中兩段子序列均值有無(wú)顯著差異看作來(lái)自兩個(gè)總體均值有無(wú)顯著差異的問題來(lái)檢驗(yàn)。如果兩段子序列的均值差異超過了一定的顯著性水平，則可以認(rèn)為有突變發(fā)生。

找到突變時(shí)刻后，可以將其與業(yè)務(wù)變更時(shí)間點(diǎn)進(jìn)行匹配。若在時(shí)間范圍內(nèi)匹配成功，則數(shù)據(jù)變化可能與該業(yè)務(wù)變更有一定關(guān)聯(lián)。如：結(jié)合了AB實(shí)驗(yàn)的數(shù)據(jù)，獲取了所有AB實(shí)驗(yàn)流量開啟、分流結(jié)果等的操作信息。若數(shù)據(jù)突變點(diǎn)前10分鐘內(nèi)，預(yù)警頁(yè)面有相關(guān)的實(shí)驗(yàn)操作變更，則輸出相應(yīng)的實(shí)驗(yàn)歸因數(shù)據(jù)。

2.4.4 歸因結(jié)果聚合輸出

在得到上邊四個(gè)算法的結(jié)果后，按照既定的根因分類，根據(jù)根因?qū)嶋H情況，使用單個(gè)模型或多個(gè)模型的EP值結(jié)果限制卡點(diǎn)，進(jìn)行歸因結(jié)果聚合。

接下來(lái)，拆解這些根因的實(shí)際算法使用考量。

• 核心優(yōu)化的異常深度歸因和相似異常推薦。首先會(huì)根據(jù)配置表中的“對(duì)該類會(huì)有影響的根因類型”和“其他不相關(guān)異常推薦類型”，進(jìn)行算法結(jié)果的過濾。在該場(chǎng)景下，主要使用趨勢(shì)相似性算法結(jié)果，深度歸因結(jié)果作為輔助過濾條件。
• 操作系統(tǒng)等不會(huì)短期內(nèi)變化的維度，則會(huì)主要使用趨勢(shì)相似度模型，再把維度拆分模型的結(jié)果作為輔助參考，獲得更準(zhǔn)確的歸因結(jié)果
• 版本等維度，由于他們的變化情況及異常波動(dòng)較大，相比之下就并不適合使用相似度模型，因此僅使用維度拆分模型結(jié)果，反而會(huì)更精確。
• 實(shí)驗(yàn)維度，直接使用突變點(diǎn)與實(shí)驗(yàn)操作變更匹配數(shù)據(jù)進(jìn)行輸出。

有了歸因結(jié)果后，最終會(huì)以預(yù)警郵件或消息的形式發(fā)送給相關(guān)開發(fā)，并以監(jiān)控報(bào)表的形式，來(lái)展示多維度的分布數(shù)據(jù)和異常明細(xì)，以提高整體排障效率。

看下實(shí)際案例：

案例1：6月9日，某詳情頁(yè)白屏上升，歸因到代碼報(bào)錯(cuò)升高導(dǎo)致

該日，通過多天的同環(huán)比規(guī)則權(quán)重疊加，監(jiān)控出該頁(yè)面白屏上升，報(bào)錯(cuò)率從0.22%上升至0.38%。

通過算法歸因結(jié)果輸出：鎖定了操作系統(tǒng)、版本及頻道；且深度歸因發(fā)現(xiàn)，該類報(bào)錯(cuò)，是由于底層代碼報(bào)錯(cuò)升高導(dǎo)致，兩者間的關(guān)聯(lián)度為97%。

歸因結(jié)果給到開發(fā)有指向性的排查方向，提高排障效率。

案例2：5月21日，某頁(yè)面圖片慢加載上升，歸因到與業(yè)務(wù)實(shí)驗(yàn)開啟有關(guān)

該日，通過多天的同環(huán)比規(guī)則閾值限制，監(jiān)控出該頁(yè)面圖片慢加載上升，報(bào)錯(cuò)率從24%上升至70%。

通過算法歸因結(jié)果輸出，該異常升高與平臺(tái)、系統(tǒng)、及實(shí)驗(yàn)開啟有關(guān)。

歸因結(jié)果直接定位到了實(shí)驗(yàn)，精確到影響該異常的需求改動(dòng)及關(guān)系方，以更好的評(píng)估新需求對(duì)系統(tǒng)性能是否帶來(lái)影響。

三、階段成果&后續(xù)規(guī)劃

3.1 階段成果

1）預(yù)警的準(zhǔn)確性升高：老版監(jiān)控的準(zhǔn)確度約為60%，會(huì)有數(shù)據(jù)正常波動(dòng)的場(chǎng)景也誤觸預(yù)警的情況；新版預(yù)警歸因系統(tǒng)的準(zhǔn)確率約為89%，有比較明顯的改善。

2）從歸因結(jié)果提供、排查報(bào)表數(shù)據(jù)整合、排查鏈路縮減三個(gè)方面來(lái)看，整體排查時(shí)間縮短約40%。

3）數(shù)據(jù)池中接入40+的數(shù)據(jù)類型。

4）已有19個(gè)傳統(tǒng)預(yù)警、資源消耗監(jiān)控，接入到新版智能預(yù)警歸因系統(tǒng)中。

5）新版歸因系統(tǒng)已發(fā)現(xiàn)問題約70+個(gè)，其中圖片相關(guān)問題20+、頁(yè)面慢加載問題10+、資源消耗問題7個(gè)……。預(yù)警后系統(tǒng)能直接找到影響的根本原因，如：內(nèi)存上漲與圖片size變大有關(guān)，流量上漲與服務(wù)調(diào)用次數(shù)變多有關(guān)；異常變化與實(shí)驗(yàn)開啟有關(guān)。

6）該系統(tǒng)降低了不同數(shù)據(jù)源增加監(jiān)控的開發(fā)成本。

3.2 后續(xù)規(guī)劃

• 豐富預(yù)警規(guī)則，提高預(yù)警的精確度
• 傳統(tǒng)預(yù)警繼續(xù)接入新版歸因系統(tǒng)中
• 多類指標(biāo)大盤監(jiān)控?cái)?shù)據(jù)，接入智能預(yù)警歸因系統(tǒng)
• 單日預(yù)警接入bug缺陷提交系統(tǒng)