作者簡介

Seren，智行資深研發經理，負責業務系統架構升級和優化，跟蹤行業趨勢和技術發展方向，

Phoenix，智行資深后端開發工程師，專注系統性能優化與業務數據治理挖掘，持續推動業務發展。

一、背景

日志，作為系統運行的忠實記錄者，不僅是問題追蹤的利器，更是性能調優的指南針。通過深入分析日志，我們可以洞悉系統運行的每一個細節，從而快速定位問題、優化性能。同時，日志也可以作為數據分析和決策的重要依據。研發流程中，如何使用好日志，還是存在著以下難點。

• 為了排查問題，我們通常需要記錄大量的日志。如何關聯客戶端當次請求的所有日志，確保信息的完整性和連貫性；
• 日志記錄對象過大可能導致頻繁GC（垃圾回收），進而造成服務器不穩定；
• 一些核心日志的丟失會給排查問題帶來極大的困難；
• 盡管日志的發送已經實現了異步處理，但過多的發送仍會占用CPU、內存等資源。大量的冗余日志也會浪費寶貴的存儲資源；

針對以上問題，本文提出一個日志治理挖掘方案。該方案旨在通過對系統日志進行標準化、規范化、統一化處理，進一步挖掘系統日志的潛在價值。

二、思考

我們整理了日志的使用場景，大致分為四個方向：指標監控，Trace定位排障，性能分析，數據分析與報表（實時/離線）。

指標監控：指標監控是系統穩定運行的重要保障，它通過對核心業務邏輯、第三方接口響應、數據有效性等關鍵指標進行實時追蹤與分析，確保系統性能始終處于最佳狀態。

Trace定位排障：在復雜的業務場景中，當遇到請求處理異常、系統響應錯誤、業務展示邏輯核對等問題時，定位排障成為了關鍵的一環。當我們已經通過上游定位、CDataportal查詢或日常開發調試等手段，確定了具體的問題請求，接下來的任務就是通過日志精準鎖定問題所在，并迅速解決故障。

場景問題定位：場景問題定位是一種針對具體場景，通過深入分析、精細排查，以快速找到問題根源的方法。我們會利用日志分析、監控數據、用戶反饋等多種手段，對問題場景進行深入剖析。通過對比正常場景與問題場景的差異，我們可以進一步縮小問題范圍，確定可能的問題源頭。

數據分析與報表：通過日志記錄數據分析與報表編制流程，我們能夠實時捕捉系統潛在問題，進而實現問題的迅速定位與解決。同時，這一做法也有助于我們更加精準地向團隊成員、決策者及BI等相關方展示分析成果與深刻洞察，確保各方能夠基于充分的信息作出合理決策。

三、解決方案

3.1 分布式系統日志的整合與串聯

分布式系統日志的串聯是確保在復雜的分布式環境中能夠準確追蹤和關聯各個組件產生的日志記錄，從而實現對整個系統行為的全面理解。以下是關于分布式系統日志串聯實現中的關鍵步驟：

1）唯一標識生成：在每個業務任務請求開始時，生成一個全局唯一的標識。這個標識將貫穿整個請求的生命周期，用于標識和串聯與該請求相關的所有日志記錄。

2）標識傳遞：在分布式系統中，請求會經過多個系統或組件。為了確保日志的準確串聯，這個唯一標識需要在請求傳遞過程中被正確攜帶。

我們通過在請求入口生成全局traceid，并存放在線程安全的context 中。每個組件、線程中，當記錄日志時，從線程 `context` 中獲取 `traceId`，并將其作為日志記錄的一部分。通過這種方式，我們實現了服務內的日志串聯。

在調用下一級服務時，將當次請求的`traceId` 作為自定義頭的一部分添加到請求頭中。這樣，下一級服務或組件就能夠從請求頭中提取 `traceId`，并將其存放到自己的線程 `context` 中，通過這種方式，我們實現了系統間日志的關聯。

3.2 前后端日志信息的整合與貫通解決方案

前后端日志串聯打通方案主要涉及前端和后端產生的日志能夠按照特定的規則進行關聯和整合，以便能夠追蹤和分析用戶操作的生命周期。以下是前后端日志串聯打通方案的關鍵步驟：

1）生成唯一標識：在請求的入口點（如API網關或負載均衡器），為每個請求生成一個全局唯一的標識，如`traceId`。這個標識作為用戶上一次操作的traceid將用于串聯前后端的日志記錄。

2）傳遞`traceId`到前端：當后端響應前端請求時，將生成的`traceId`包含在響應頭中返回給前端。前端接收到響應后，提取`traceId`，并將其存儲在合適位置。

3）前端回傳`traceId`：前端在發起下一次請求時，將存儲的`traceId`作為請求的一部分傳遞給服務端。這樣，當次請求就可以與上一次請求實現串聯。

3.3 統一標準日志管理與模塊化解決方案

統一標準日志管理與模塊化解決方案旨在構建一個統一、可維護且可擴展的日志記錄、查詢體系，以提升系統的可觀察性、問題追蹤能力，為系統的穩定運行和持續優化提供有力支持。以下是關于日志標準化與組件化的關鍵步驟：

1）同一日志分層標準：根據系統的不同功能和組件，將日志劃分為不同的層級，如應用層、業務邏輯層、數據訪問層、外部接口層等。每個層級應記錄與該層級相關的關鍵信息和事件，以便于問題定位和性能分析。

2）統一日志格式：定義一套標準的日志字段，包括但不限于時間戳、traceId、日志級別、日志來源、請求信息（如請求方法、URL、參數等）、響應信息（如狀態碼、返回數據等）、異常堆棧等。確保所有系統和組件產生的日志都包含這些標準字段，以便于日志的聚合和查詢。

3）統一接入方式：制定日志接入的統一規范，包括日志的收集、傳輸、存儲等流程。明確日志數據的數據格式（如JSON、XML等）、傳輸方式等。

4）日志分析工具：開發日志分析工具，對收集到的日志數據進行加工處理，統計分析、可視化展示和異常檢測等功能。

5）安全與性能優化：對敏感數據進行加密處理，確保存儲過程中的機密性。對日志數據進行壓縮處理，減少存儲空間的占用和網絡傳輸的開銷。

3.4 大報文日志的精細化管理與處理方案

大報文日志的處理過程中，確保日志的完整性和可讀性，同時保證不影響服務性能，是至關重要的。以下是處理過程的關鍵步驟：

1）大報文日志的判斷

根據系統的內存限制、日志的生成頻率以及業務需求，設定一個合理的內存占用閾值。對指定日志報文對象做內存空間占用分析，如果超過閾值，則視為大對象。

2）異步壓縮、發送

使用線程池，創建專門負責壓縮和發送日志的后臺任務。當有大報文日志產生時，將其傳遞給后臺任務隊列，由后臺任務異步處理，確保主服務能夠繼續處理請求。

3）選擇合適的壓縮算法

使用如Gzip、ZSTD等高效的壓縮算法，這些算法能夠在壓縮率和解壓縮速度之間取得良好的平衡。確保所選的壓縮算法能夠處理大報文，并且不會導致內存溢出或其他問題。

通過以上關鍵步驟的實施和監控，可以確保大報文日志在處理過程中的完整性和可讀性，同時盡可能減少對服務性能的影響。

3.5 高效日志清洗與多維度分析解決方案

日志清洗與分析方案，旨在實現日志的有效清洗與分析，通過提取有用信息、轉換結構化數據，為后續的分析、監控和故障排查工作提供堅實基礎。方案主要包括日志處理、關鍵字段提取、維度聚合和可視化展示等步驟，以確保日志數據的準確性和分析的高效性。以下是該方案的主要步驟：

1）日志處理：從各個系統和應用程序中收集原始日志數據，對需要進行加密或壓縮處理的日志信息進行解密和解壓縮操作，還原出原始的日志內容。根據業務需求，篩選出需要分析的日志數據，排除無用或重復的日志信息。

2）提取關鍵字段：通過Aviator 引擎運行提取腳本，識別并提取出日志中的關鍵字段，如接口名、是否成功等。對提取出的字段進行格式化和標準化處理，確保字段的一致性和可比性。這些字段是后續分析的基礎。

3）維度聚合：根據業務需求和分析目標，定義合適的維度，如時間維度、事件類型維度等。按照定義的維度對日志數據進行聚合統計，計算出各個維度的統計指標，如計數、平均值、最大值等。將聚合后的結果存儲到clickhouse中，以便于后續的查詢和分析。

4）可視化：根據業務需求和分析目標，設計合適的看板，展示關鍵指標和統計結果。生成詳細的報表，包括各個維度的統計數據和趨勢分析，以供業務人員查閱和分析。在看板和報表中提供交互功能，如篩選、排序、鉆取等，方便用戶進行深入分析和探索。

四、未來規劃

組件化：通過組件化，我們可以為系統提供零入侵的接入方案。這意味著在接入日志治理系統時，無需對原有系統進行任何修改或侵入，只需將日志組件集成到系統中即可。這種零入侵的方式不僅保證了原有系統的穩定性和安全性，還大大簡化了接入流程，提高了效率。

配置化：通過對關鍵流程接口進行擴展化處理，我們可以實現組件的靈活配置和定制。用戶可以根據實際需求，對日志組件進行個性化的配置，以滿足不同的業務場景和需求。

抽樣化：核心日志往往包含了大量的關鍵信息，但其數量也非常龐大，如果全部存儲，將帶來巨大的存儲成本。抽樣化技術可以解決這個問題。通過對核心日志進行抽樣輸出，我們可以只保留部分具有代表性的日志數據，從而大大降低存儲成本。

降低資源消耗：通過自定義序列化方式，我們可以優化日志數據的傳輸格式，減少數據傳輸量。其次，采用日志批量發送的方式，可以將多條日志合并成一次發送，減少發送次數和網絡開銷。