支付通道自動化管理的實踐之路
隨著支付業務量激增，支付團隊不斷壯大。為了滿足日益增長的業務需求，大量的支付通道逐漸接入，但由于對接的各銀行和第三方系統的穩定性參差不齊，支付通道故障時有發生，作為承接上下游的核心系統，要在一系列不穩定的系統之上建立一個可以給上游提供穩定服務的系統，僅依賴人工維護是遠遠不夠的，所以建立一個完善的支付通道自動化管理系統勢在必行。本文主要介紹美團點評技術團隊支付通道自動化管理的演進之路。
初級階段
監控系統初級階段
故障處理流程圖如下：
支付通道自動化管理的初級階段持續時間是2014.06~2015.09，故障處理手動切走、手動切回，一次支付通道故障的詳細處理流程如下：
(1) 支付網關監控檢測到支付通道成功率異常，發送報警消息到美團點評技術;
(2) 美團點評技術立即查看監控頁面確認故障，并登陸到渠道路由配置頁面去修改對應支付通道的狀態，將通道置為不可用;
(3) 收銀臺實時讀取支付通道狀態，將故障通道的流量全部切走;
(4) 美團點評技術聯系銀行或第三方報故障，對方去查看問題，確認恢復后通知美團點評技術;
(5) 美團點評技術修改支付通道狀態為可用，收銀臺實時讀取到該支付通道，將線上流量導入;
(6) 如果支付通道恢復，則用戶可以正常交易，本次故障結束;
(7) 如果支付通道未恢復，大量交易失敗，美團點評技術需要將該通道重新置為不可用，再次去聯系銀行或第三方處理，如此往復，直到該通道的所有交易正常，本次故障結束。
半自動化階段
初級階段存在的問題
初級階段系統的主要目標是擴大支付通道的覆蓋范圍，提高用戶支付成功的概率。隨著支付通道的不斷接入，由于公網環境、銀行或第三方系統的不穩定性，導致故障頻率升高，故障時間延長。而此時處于初級階段的監控系統已無法有效保證通道的穩定性：
(1) 支付網關監控報警漏報率較高，小流量通道故障無法及時發現;
(2) 支付通道切換都是人來手動處理，一方面技術的工作量嚴重增加，另一方面無法保證在處理故障過程中沒有任何誤操作;
(3) 故障解決花費的時間較長，故障對用戶造成的影響就更大，同時用戶的不斷重試對支付系統本身也造成很大的壓力;
(4) 故障通道嘗試恢復時，只能全部打開用線上真實交易來檢測，可能會因為通道尚未恢復，造成二次故障，擴大影響范圍。
系統優化
優化監控系統
(1) 優化監控算法：優化監控算法，將報警的準確度提高到95%，基本做到無誤報、無漏報;
(2) 新增自動置通道為不可用功能：監控檢測到支付通道故障時，一方面發送報警消息給技術人員，另一方面調用渠道路由的接口將支付通道置為不可用，實現支付通道故障的快速降級。
此時的監控系統如下圖所示：
渠道路由支持實時通道變更
在初級系統中，渠道路由的主要功能是提供通過頁面修改支付通道配置來實現人為管理支付通道的功能。隨著監控系統的完善，監控準確度和靈敏度提升，此時監控系統已經具備支付通道管理的決策力，需要渠道路由提供一個可以實時更新支付通道狀態的接口，以實現支付通道的自動化管理。而作為自動通道切換的補償機制，渠道路由還實現了基于移動App人工一鍵切換的功能，盡***可能保證故障的快速解決。
渠道路由提供的接口除了具備實時通道狀態變更功能以外，還需要進行了以下幾個方面的控制：
(1) 一鍵切換功能，必須控制訪問權限;
(2) 具有事務控制和時效性控制，無論是自動還是一鍵切換，一次故障必須能且只能切走通道流量一次;
(3) 必須保證通道狀態變化可以通過各種途徑通知到相關的技術人員。
故障處理流程圖
支付通道自動化管理的半自動化階段持續時間是2015.10~2016.10，故障處理自動切走、手動切回，一次通道故障的詳細處理流程如下：
(1) 監控檢測到通道成功率異常發送報警消息給美團點評技術，同時自動將通道置為不可用;
(2) 美團收銀臺實時讀取通道狀態，將故障通道的流量全部切走;
(3) 美團點評技術立即聯系銀行和第三方報故障，對方確認問題和恢復情況后反饋到美團;
(4) 美團點評技術修改通道狀態為可用，收銀臺實時讀取到通道狀態為正常后，將線上流量放入該通道;
(5) 如果通道恢復，則用戶可以正常交易，本次故障結束;
(6) 如果通道未恢復，大量交易失敗，美團點評技術或監控會再次將通道狀態為不可用;
(7) 美團點評技術再次聯系銀行或第三方處理故障，如此往復，直到線上交易正常，本次故障結束。
主要完成的改進點
(1) 優化報警監控算法，并支持一鍵查看通道狀態，保證支付通道故障的快速發現;
(2) 實現故障通道一鍵切換和自動切換，從各方面保證通道故障快速處理;
(3) 大幅降低處理支付通道故障的人力成本。
全自動化階段
半自動化階段存在的問題
半自動化階段已將故障處理流程大幅簡化，但此時的系統中還存在以下問題：
(1) 通道恢復依賴于銀行或第三方的反饋，導致支付通道恢復延時較久;
(2) 一次通道故障涉及到的系統和人員較多，人工無法保證全面和及時的周知。
但渠道路由由于早期設計的局限性，無法實現全自動化，需要優化監控系統和渠道路由系統。
系統優化
實現監控自動回切
監控自動回切的主要思想是對故障通道進行小幅放量，通過檢測放量交易的成功率判斷通道是否恢復正常。如果小幅放量的交易成功率正常則繼續放量，反之則直接將通道切回故障，隔一段時間再重新開始進行放量測試，直到將通道置為正常為止。自動回切狀態機如下圖所示：
此過程的關鍵點是通道放量節奏的控制，通道放量節奏的影響要素有三個：***放量的大小、兩次放量時間間隔、通道放量速度，放量節奏太快則易造成二次故障，太慢則通道恢復過慢，無法達到縮短故障影響時間的效果。以下是最終實現的一次通道回切過程示例：
(1) 通道放量，但放量失敗
(2) 再次放量，如果成功則擴大放量
(3) 通道切回正常
實現通道相關系統間聯動
支付通道故障時，一方面通過消息組件通知到營銷活動、退款等系統，協助進行活動下線、通道退款關閉等處理，減少通道故障對其他系統的影響;另一方面以接口方式通知業務方系統，協助業務方系統進行故障分析。
渠道路由重構和優化
解決業務問題
支付通道有兩種通道類型，***種定義為“單卡通道”，只給指定銀行的指定卡種使用的通道，比如“中國銀行儲蓄卡快捷通道”就只能給輸入了中國銀行儲蓄卡卡號的請求使用;第二種定義為“跨卡通道”，能給多個銀行的指定卡種使用的通道，比如“銀聯API儲蓄卡”就可以給“中國銀行儲蓄卡”、“中國建設銀行儲蓄卡”等多個銀行的儲蓄卡賬號使用。
(1) 處理“跨卡通道”上某家銀行故障的情況
由于老路由系統設計之初，只簡單從“銀行渠道”和“支付通道”兩個維度考慮存儲信息，設計的表結構比較簡單，對于支付通道故障的情況只能切換整個通道。如果是“跨卡通道”的單個銀行故障，老系統無法做到只把這故障銀行流量切走——要么放任整個“跨卡通道”因為單個故障銀行拉低成功率，要么切走整體通道的流量。在新路由系統中，針對每家銀行的指定卡種，分別記錄“跨卡通道本身不支持”和“跨卡通道支持但是銀行系統故障”的兩類數據，在執行路由邏輯篩選的時候就根據這些信息進行過濾，實現“跨卡通道”切走單個故障銀行。
(2) 配合通道監控系統實現通道的回切放量，試探性逐步恢復通道
解決技術問題
(1) 收斂分散的業務和存儲邏輯
驅使重構路由系統的一大原因是老路由系統業務邏輯和數據存儲分散、系統間的邏輯嚴重耦合、邊界不清晰，經常在系統間模糊地段踩坑。因此，重構后需要將路由邏輯全部收斂到路由系統，這包含兩個層面：
代碼層面——新路由系統需要整合老路由系統邏輯(Java代碼)和上游收銀臺中的路由邏輯(PHP)，劃清上下游的職責邊界。
存儲層面——原來收銀臺或者交易系統會分別從配置中心、緩存、數據庫表、代碼配置文件、老路由系統接口中獲取不同的數據，數據無法被集中管理。重構之后，全部數據都由新路由管理集中管理，任何上游的數據需求都通過RPC接口請求路由系統。
(2) 系統容量和時效性
由于路由邏輯和基礎數據都收斂到新系統，重構后的路由將成為支付路徑上的關鍵環節，用戶在美團點評的每次支付交易至少會調用一次路由系統。根據目前美團點評的體量，這對路由系統的峰值容量提出考驗。另一方面，由于重構系統需要兼容之前的老邏輯，這會導致有些接口的響應時間達到幾百毫秒甚至超過一秒，對內網調用來說是不可接受的。
水平擴容機器是可以解決***個問題的，但是無法解決第二個問題。基于路由的業務場景是典型的“讀多寫少”、且基礎數據總量有限的情況，數據完全可以緩存在業務機器上，這樣能極大地減少對數據庫的讀取次數。采用本地緩存的方案后，系統接口響應時間由秒級降為毫秒級。由于降低了請求處理時間，一個線程的處理能力也相應提高了數十倍，系統的整體處理能力得到量級提升。
(3) 系統容災方案
路由系統的容災主要從兩方面實現：
降低對外部組件的依賴性——“本地緩存”的引入使得路由系統處理實時業務請求時，不直接讀取外部的緩存中心或者數據庫，這樣避免了這些基礎組件可能帶來的風險。
制定服務異常時的備用方案——如果路由系統異常將會直接導致用戶無法支付，因而收銀臺系統需要對路由進行依賴降級，采用的方案是：
a. 路由系統定時從數據庫中讀取基礎數據，并根據路由策略產生兜底數據，同步到配置中心;
b. 當路由系統異常，收銀臺系統將降級讀取兜底數據，保證用戶完成支付。
故障處理流程
支付通道自動化管理的半自動化階段持續時間是2016.11至今，故障處理自動切走、自動切回，一次通道故障的處理流程如下：
(1) 監控檢測到通道成功率異常發送報警消息給美團點評技術人員，同時自動將通道置為不可用;
(2) 收銀臺實時讀取通道配置，收銀臺不會再將流量放入該通道，從而將故障通道的流量全部切走;
(3) 監控在將通道置為不可用一段時間后，嘗試對故障通道放部分量進來用以檢測通道是否正常;
(4) 如果放進來的這部分量成功率正常，監控則繼續放2倍的量，直到通道全量，監控將通道置為可用;
(5) 如果放進來的這部分量成功率異常，則將通道直接置為不可用，監控隔一段時間后再繼續進行放量，直到通道恢復為可用;
(6) 美團點評技術在發現通道故障后，可以向銀行或第三方詢問故障原因，并記錄，留作日后分析使用。
系統演進到這里，支付通道的管理已經基本實現了完全自動化，只有故障原因等附加信息需要人工獲取。
主要解決的問題
(1) 渠道路由重構和優化后提供了根據配比放量的功能和通道故障發送推送消息到各個需要知道通道狀態變化的系統;
(2) 監控可以根據通道當前狀態和成功率情況，可以主動選擇將通道置為故障、開始放量、繼續放量、切回故障、置為正常等操作，檢測通道是否恢復，以實現支付通道自動管理的功能;
(3) 釋放了大量需要處理通道故障的人力資源;
(4) 及時周知到相關系統，降低故障影響，協助業務方系統進行故障分析。
各階段系統優化數據對比
支付通道管理系統在故障處理上的性能對比數據如下：
注：
故障響應時間：從通道發生故障到通道被置為不可用的時間;
平均人力成本：故障發生期間需要耗費人力;
平均故障恢復延遲：銀行或第三方真正恢復到美團打開通道入口的時間。
總結與展望
支付通道管理系統的演進過程就是一個完整的支付通道自動化管理的實踐之路，自動化不僅提升了系統故障處理能力，提升系統可用性，還釋放了大量人力。隨著支付系統的發展，后續支付通道自動化管理系統還將面臨新的問題和挑戰。總結實踐的過程，主要有以下兩點：
監控系統的完善和優化
從監控系統從單一的成功率計算到覆蓋幾乎所有維度，以及后續的與其他系統聯動實現支付通道自動化管理的功能，對于維護和提升系統可用性和穩定性起到了非常重要的作用。
渠道路由功能的完善
渠道路由提供了通道切走和回切放量功能，與監控系統***的配合，實現支付通道的自動化管理功能。
目前的支付通道自動化管理還需要在以下四個方面進行優化：
(1) 優化監控算法，將報警準確率95%提升到99%以上;
(2) 故障自動通知到銀行或第三方技術人員，完全釋放故障處理耗費的人力;
(3) 實現銀行和第三方網關網絡異常的自動化處理;
(4) 渠道路由的回切放量，優先***耐受力比較強(統計維度上客訴少)的用戶進行成功率探測，以減少對業務的影響。
【本文為51CTO專欄機構“美團點評技術團隊”的原創稿件，轉載請通過微信公眾號聯系機構獲取授權】
