隨著企業規模的擴大和信息化程度的提升，日志系統在運維和故障排查中的作用愈加重要。一個高效的日志系統不僅可以幫助開發者和運維人員快速定位問題，還能對系統性能、用戶行為等方面的數據進行深入分析，從而提升業務優化和決策支持能力。傳統的日志系統架構，如 ELK（Elasticsearch、Logstash、Kibana），已經在大量生產環境中得到了廣泛的驗證。然而，隨著容器化和微服務架構的流行，尤其是在 Kubernetes (k8s) 環境中，對日志系統的需求也在不斷演變。

這使得新的日志解決方案應運而生，例如 EFK（Elasticsearch、Fluent Bit、Kibana）和 PLG（Promtail、Loki、Grafana）架構，它們分別針對不同的使用場景和需求，提供了更加靈活、低成本、高效的日志收集、存儲、和可視化方案。尤其是 PLG 架構，憑借其與 Prometheus 的緊密集成和對時間序列數據的優秀處理能力，成為了在云原生環境中逐漸流行的選擇。

本文將深入探討 ELK、EFK 和 PLG 三大日志系統的架構設計、技術特點及其在實際應用中的優勢和不足，并通過對比分析幫助讀者更好地理解每種日志系統的適用場景和最佳實踐。

ELK 日志系統

經典的 ELK 架構，現在稱為 Elastic Stack，由 Elasticsearch、Logstash、Kibana 和 Beats 組成：

• Beats 負責日志收集。
• Logstash 負責日志聚合和處理。
• Elasticsearch（ES）用作日志存儲和搜索系統。
• Kibana 提供前端可視化。

總體架構圖：

圖片

EFK 日志系統

在容器化場景中，尤其是 Kubernetes (k8s) 環境中，用戶通常使用 EFK 架構。

F 代表 Fluent Bit，它是一款開源的多平臺日志處理器和轉發器。Fluent Bit 能夠：

• 從各種來源收集數據/日志。
• 統一并轉發它們到多個目的地。
• 完全與 Docker 和 k8s 環境集成。

圖片

PLG 日志系統

Prometheus + k8s 日志系統

Prometheus 與 Kubernetes (k8s) 結合，可以搭建一個高效的日志系統。

該系統利用 Prometheus 進行監控和告警，提供了在 Kubernetes 環境中強大的日志解決方案。

PLG

另一種由 Grafana Labs 提供的日志解決方案 PLG 也日漸流行。PLG 架構由 Promtail、Loki 和 Grafana 組成：

• Promtail 負責收集日志。
• Loki 作為日志聚合和存儲系統。
• Grafana 提供前端可視化。

圖片

Grafana 是一款開源的可視化和分析軟件，允許用戶查詢、可視化、告警并探索監控指標。

Grafana 主要為時間序列數據提供儀表盤解決方案，并支持十幾種數據源。

Grafana Loki 是一組組件，可以組成一個完整的日志堆棧。與其他日志系統不同，Loki 只索引日志的標簽，而不是原始的日志內容。

相反，它為日志數據設置了一組標簽，從而降低了操作成本，并大大提高了效率。

圖片

Loki 設計理念

受 Prometheus 啟發，Loki 旨在實現一個水平擴展、高可用的多租戶日志系統。

Loki 的總體架構由不同的組件組成，這些組件協同工作以執行日志收集、索引、存儲等功能。

這些組件包括：

• Promtail：從各種來源收集日志并將其轉發到 Loki。
• Loki：使用標簽存儲和索引日志數據。
• Grafana：可視化日志數據并支持查詢和告警。

了解更多，請訪問 Loki 的架構。Loki 本質上就是“為日志設計的 Prometheus”。

圖片

Promtail 是一個日志收集代理，負責將本地日志內容發送到 Loki 實例。

它通常部署在每個需要監控應用程序的機器/容器上。Promtail 主要用于發現目標，給日志流附加標簽，并將日志推送到 Loki。目前，Promtail 可以跟蹤來自兩個來源的日志：本地日志文件和 systemd 日志（僅限 AMD64 架構）。

PLG 與 ELK 對比

ES 與 Loki

ELK/EFK 架構經過多年的實際環境驗證，表現出色。

Elasticsearch (ES) 中存儲的日志通常以存儲在磁盤上的非結構化 JSON 對象形式存在，ES 為每個對象建立索引以實現全文搜索。這使用戶可以使用特定的查詢語言搜索這些日志。

相比之下，Loki 將數據存儲解耦：

• 它可以將數據存儲在磁盤上。
• 它也可以使用云存儲系統，如 Amazon S3。

Loki 日志使用一組鍵值對進行標簽化，只有這些標簽會被索引。

這種權衡使 Loki 的索引操作成本較低，但對于基于內容的查詢，用戶需要使用 LogQL 進行單獨搜索。

Fluentd 與 Promtail

與 Fluentd 相比，Promtail 是為 Loki 量身定制的。它可以發現與 Kubernetes (k8s) Pods 運行在同一節點上的服務，并從指定目錄中讀取日志。

Loki 使用類似于 Prometheus 的標簽方法。因此，在與 Prometheus 部署在相同環境時，Promtail 收集的日志通常具有與應用程序指標相同的標簽，從而實現統一的標簽管理。

Grafana 與 Kibana

Kibana 為數據分析提供了許多可視化工具，包括異常檢測和其他機器學習功能。Grafana 設計用于顯示來自 Prometheus 和 Loki 的時間序列數據，允許在同一儀表盤中查看日志和指標。

結語

日志系統是企業監控和維護應用程序的重要組成部分。隨著技術的不斷發展，日志系統不僅僅局限于簡單的記錄和存儲，而是成為了數據驅動決策、監控系統健康狀況以及優化用戶體驗的重要工具。通過本文對 ELK、EFK 和 PLG 日志系統的詳細分析，我們可以看到每種架構在不同場景下的應用優勢。

ELK 架構憑借其強大的搜索和可視化功能，已經成為了許多傳統企業的首選方案；而 EFK 架構則針對容器化場景進行了優化，適合在 Kubernetes 環境中進行日志處理。相比之下，PLG 架構以其輕量級、高擴展性的特點，提供了更加靈活的解決方案，尤其適合處理大量分布式服務的日志。

在未來，隨著企業業務的進一步擴展和云原生技術的深入應用，日志系統將更加注重實時性、可擴展性和智能化分析功能。因此，選擇一個適合自身業務需求的日志系統將變得尤為關鍵，而 PLG、EFK 和 ELK 架構都為用戶提供了豐富的選擇和深厚的技術支持。