背景及系統(tǒng)簡介：

Kafka是一種高吞吐量的分布式架構的發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網站中的所有動作流數據。通常由于高吞吐量的要求而選擇通過處理日志數據和日志聚合來解決。

[[348168]]

本文涉及的分布式系統(tǒng)(簡稱C系統(tǒng))已初具規(guī)模，而隨著系統(tǒng)建設的建設推進和功能的逐步完善，外圍系統(tǒng)對C系統(tǒng)的日志消費需求逐步增加。為了滿足日志消費需求，決定在C系統(tǒng)的網關系統(tǒng)中增加日志發(fā)送功能實現(xiàn)對外消息的發(fā)送。

C系統(tǒng)的網關系統(tǒng)主要負責分布式系統(tǒng)的接入驗證，對接受請求進行必要的合法性、安全性等內容的校驗。將消息發(fā)送功能放到網關系統(tǒng)中主要有2方面考慮：

• 網關系統(tǒng)日志記錄了上送請求的原始信息，能夠完整描述交易請求發(fā)生的場景及請求內容;
• 便于制定統(tǒng)一的消息報文格式和規(guī)范，避免多系統(tǒng)發(fā)送消息時標準不一致，給后續(xù)的消息消費帶來困難。

聯(lián)機消息發(fā)送測試

網關系統(tǒng)設置了消息控制表，控制是否發(fā)送消息。同時可以根據需要從不同維度控制哪些消息需要發(fā)送,而不是所有日志數據全部發(fā)送，避免系統(tǒng)資源的浪費，提高消息的使用效率。

1. 正常交易消息發(fā)送

即發(fā)送服務的基本功能測試。當上送交易請求在后臺執(zhí)行成功后，觸發(fā)網關系統(tǒng)消息發(fā)送功能，將該上送請求相關的日志信息封裝消息發(fā)送出去。消息控制數據緩存在應用服務器，以提高讀取速度，通過POSTMAN工具查詢、驗證。

消息發(fā)送無顯性展示，因此測試對消息是否正常、發(fā)送規(guī)則是否符合消息控制表配置規(guī)則、發(fā)送內容的正確性和完整性、topic使用是否正確、總線系統(tǒng)是否正常、正確接收到消息等內容的驗證，通過查詢log的方式完成。

2. 查證交易消息發(fā)送

查證功能是網關系統(tǒng)提供的查證上送交易執(zhí)行結果(成功/失敗)的功能。由于網絡等原因未收到被查交易返回結果時，如果該交易配置了消息發(fā)送功能，則在查證交易成功后將被查交易的原始交易信息封裝消息并發(fā)送，保證該交易所有使用場景都能正確發(fā)送消息。

3. 異常消息處理

異常場景主要驗證Kafka不能正常發(fā)送消息的情況，我們通過修改Kafka服務器IP地址方式和配置錯誤的topic等方式模擬Kafka消息發(fā)送失敗的場景，進而驗證網關系統(tǒng)是否能將消息正確、完整的記錄到異常消息表中。

4. 熔斷場景測試

熔斷是指Kafka異常或消息服務壓力過大，進而影響網關系統(tǒng)其他正常功能，需要臨時關閉消息服務已保證網關系統(tǒng)本身對外服務正常。關閉消息服務是通過將要發(fā)送的消息記錄到異常消息表中，后續(xù)通過批量補發(fā)方式補發(fā)消息。

批量消息處理測試

通過定時輪詢的方式，對記錄到異常消息表里的消息進行補發(fā)。同時設置消息熔斷機制，當Kafka異常時，將消息發(fā)送完全切換到記錄消息表，避免造成Kafka完全失效的同時也保證了本系統(tǒng)對外服務正常。

消息補發(fā)功能

當日消息補發(fā)定時輪詢，每5分鐘掃描一次異常消息表，對于未發(fā)送成功的消息重新補發(fā)，在發(fā)送三次失敗后更新消息狀態(tài)為“異常”。測試主要驗證內容：

• 補發(fā)消息的篩選;
• 錯誤的消息(如空消息)等處理;
• 補發(fā)線程沖突處理機制，等

上日消息補發(fā)對上一日未發(fā)送的異常消息進行補發(fā)，與當日補發(fā)功能類似，但不是定時輪詢。

異常消息導出

對于各種補發(fā)后仍失敗的消息，為保證數據的完整性，提供導出功能做后續(xù)處理。

性能測試

由于投產后預期消息發(fā)送量很大，預估約1億筆以上，所以對性能要求較高。

參考預估交易量，根據二八原則(80%的交易量發(fā)生在20%的時間內)，估算投產后系統(tǒng)的TPS約7000左右。參考該系統(tǒng)前次性能測試指標，我們將通過標準定位2000，測試、生產TPS比例1：3.5。而測試環(huán)境資源與生產資源比例約為1：16，遠大于TPS的測試生產比例，因此我們認為達到該標準即可滿足生產系統(tǒng)性能要求。

在進行了基準測試、負載測試及混合場景測試后，消息服務在測試環(huán)境TPS達到了2000以上，并且系統(tǒng)資源都在合理范圍內。

總結

Kafka是比較成熟的消息系統(tǒng)，為網關系統(tǒng)的消息服務提供了基礎，但Kafka偶爾會出現(xiàn)假死現(xiàn)象，導致消息阻塞。本次原本計劃嘗試模擬假死現(xiàn)象，但與項目開發(fā)人員以及Kafka支持人員討論了解到，暫時無法模擬該場景，這也是本次留下的遺憾。