譯者 | 李睿

審校 | 重樓

事件驅動的架構(EDA)是一種軟件設計模式，它關注事件的生成、檢測和使用，以支持高效和可擴展的系統(tǒng)。在EDA中，事件是組件之間通信的主要手段，允許它們實時交互和響應更改。這種架構促進了松散耦合、可擴展性和響應性，使其非常適合現(xiàn)代的、分布式以及高度可擴展的應用程序。EDA已成為現(xiàn)代系統(tǒng)中實現(xiàn)敏捷性和無縫集成的一種強大解決方案。

在事件驅動的架構中，事件表示系統(tǒng)中的重要事件或變化，例如用戶操作、系統(tǒng)流程或外部服務的各種來源都可以生成這些事件。被稱為事件生產者的組件將事件發(fā)布到中央事件總線或代理，后者充當事件分發(fā)的中介。其他組件稱為事件消費者，它們訂閱感興趣的特定事件并做出相應的反應。

EDA的一個關鍵優(yōu)勢是它能夠支持敏捷性和靈活性。事件驅動系統(tǒng)中的組件可以獨立發(fā)展，從而允許更容易的維護、更新和可擴展性。在不影響整個系統(tǒng)的情況下，可以通過引入新的事件類型或訂閱現(xiàn)有事件來添加新的功能。這種靈活性和可擴展性使得EDA特別適合于動態(tài)和不斷發(fā)展的業(yè)務需求。

EDA還促進了不同系統(tǒng)或服務之間的無縫集成。通過使用事件作為通信機制，EDA支持互操作性，而不考慮底層技術或編程語言。事件為系統(tǒng)交換信息提供了一種標準化和松散耦合的方式，使企業(yè)能夠更容易地集成不同的系統(tǒng)。這種集成方法促進了模塊化和可重用性，因為組件可以在不破壞整個系統(tǒng)的情況下連接或斷開。

EDA的關鍵組件：啟用事件流和處理

EDA由幾個關鍵組件組成，這些組件支持系統(tǒng)內的事件流和處理。這些組件一起工作以促進事件的生成、分發(fā)、使用和處理。以下是EDA的關鍵組件：

（1）事件生產者

事件生產者負責生成和發(fā)布事件。它們可以是系統(tǒng)內的各種實體，例如用戶界面、應用程序、微服務或外部系統(tǒng)。事件生產者捕獲重要的事件或更改，并向事件總線或代理發(fā)送事件。這些事件可以由用戶操作、系統(tǒng)事件、傳感器數(shù)據(jù)或任何其他相關源觸發(fā)。

（2）事件總線/代理

事件總線/代理充當事件的中央通信通道。它接收事件生產者發(fā)布的事件，并將它們分發(fā)給感興趣的事件消費者。事件總線/代理可以是消息隊列、發(fā)布/訂閱系統(tǒng)或專門的事件流平臺。它確保可靠的事件交付，將事件生產者與事件消費者分離，并支持異步事件處理。

（3）事件消費者

事件消費者訂閱感興趣的特定事件或事件類型。它們從事件總線/代理接收事件并相應地處理它們。事件消費者可以是系統(tǒng)中的各種組件，例如微服務、工作流或數(shù)據(jù)處理器。它們通過執(zhí)行業(yè)務邏輯、更新數(shù)據(jù)、觸發(fā)進一步的操作或與其他系統(tǒng)通信來響應事件。

（4）事件處理程序

事件處理程序負責處理事件使用者接收到的事件。它們包含基于事件內容執(zhí)行特定操作的業(yè)務邏輯和規(guī)則。事件處理程序可以執(zhí)行數(shù)據(jù)驗證、狀態(tài)更改、數(shù)據(jù)庫更新、觸發(fā)器通知或調用其他服務。它們封裝了與特定事件相關的行為，并確保系統(tǒng)內正確的事件處理。

（5）事件存儲

事件存儲是記錄系統(tǒng)中所有已發(fā)布事件的持久數(shù)據(jù)存儲組件，它提供事件及其相關數(shù)據(jù)的歷史記錄。事件存儲支持事件重播、審計和事件溯源模式，允許系統(tǒng)基于過去的事件重建其狀態(tài)。它在事件驅動的架構中支持可擴展性、容錯和數(shù)據(jù)一致性。

通過利用這些關鍵組件，EDA支持系統(tǒng)內事件的平滑流、分布和處理。事件生產者、事件總線/代理、事件消費者、事件處理程序和事件存儲一起工作，以創(chuàng)建松散耦合、可擴展和響應的系統(tǒng)，該系統(tǒng)可以處理實時事件驅動的交互，適應不斷變化的需求，并與外部系統(tǒng)或服務集成。

EDA模式：為可擴展性和自主性構建系統(tǒng)

EDA提供了幾種模式，幫助構建系統(tǒng)以實現(xiàn)可擴展性和自主性。這些模式增強了處理許多事件、解耦組件以及支持獨立開發(fā)和部署的能力。下面是EDA的一些關鍵模式：

（1）事件溯源

事件溯源是一種模式，其中應用程序的狀態(tài)派生自一系列事件。對應用程序狀態(tài)的所有更改都捕獲為事件存儲中的一系列事件，而不是存儲當前狀態(tài)。應用程序可以通過重播這些事件來重建其狀態(tài)。事件溯源提供了完整的事件歷史記錄，允許進行細粒度查詢，并使事件處理器能夠輕松復制和擴展，從而實現(xiàn)了可擴展性和可審計性。

（2）命令和查詢職責分離(CQRS)

命令和查詢職責分離(CQRS)是一種模式，它將讀寫操作分離到單獨的模型中。寫入模型又稱為命令模型，處理改變系統(tǒng)狀態(tài)和產生事件的命令。讀取模型(稱為查詢模型)處理查詢并更新其自身優(yōu)化的數(shù)據(jù)視圖。CQRS允許獨立擴展讀和寫操作，通過針對特定查詢需求優(yōu)化讀模型來增強性能，并提供獨立發(fā)展每個模型的靈活性。

（3）發(fā)布/訂閱

發(fā)布/訂閱模式通過將事件生產者與事件消費者分離來實現(xiàn)松散耦合和可擴展性。在這一模式中，事件生產者將事件發(fā)布到中央事件總線/代理，而不知道哪些特定的消費者將接收它們。事件使用者訂閱他們感興趣的特定類型的事件，事件總線/代理將事件分發(fā)給相關的訂閱者。此模式支持靈活性、可擴展性以及在不影響事件生產者或其他消費者的情況下添加或刪除消費者的能力。

（4）事件驅動的消息

事件驅動的消息傳遞涉及基于事件的組件之間的消息交換。它支持組件之間的異步通信和松散耦合。在這一模式中，事件生產者將事件發(fā)布到消息隊列、主題或事件中心，事件使用者從消息傳遞基礎設施中使用這些事件。這一模式允許組件獨立工作，提高系統(tǒng)可擴展性，并支持可靠的異步事件處理。

通過采用這些模式，系統(tǒng)的結構可以有效地處理可擴展性和自主性。事件源、CQRS、發(fā)布/訂閱和事件驅動的消息傳遞模式促進松散耦合，支持組件的獨立擴展，提供容錯能力，增強性能，并支持在事件驅動的架構中無縫集成系統(tǒng)和服務。這些模式有助于構建有彈性、可擴展和可適應的系統(tǒng)，這些系統(tǒng)可以處理大量事件，同時保持各個組件的高度自治。

Kafka：支持實時數(shù)據(jù)流和事件驅動的應用程序

Kafka是一個分布式流平臺，廣泛用于構建實時數(shù)據(jù)流和事件驅動應用程序。它旨在處理大量數(shù)據(jù)，并提供低延遲、可擴展和容錯的流處理。Kafka支持系統(tǒng)之間無縫可靠的數(shù)據(jù)流，使其成為構建事件驅動架構的強大工具。

Kafka的核心是使用發(fā)布/訂閱模型，其中數(shù)據(jù)被組織到主題中。事件生產者將數(shù)據(jù)寫入主題，事件消費者訂閱這些主題以實時接收數(shù)據(jù)。Kafka的這種解耦特性允許異步和分布式處理事件，使應用程序能夠處理大量數(shù)據(jù)并根據(jù)需要水平擴展。

Kafka的分布式架構提供了容錯性和高可用性。它跨多個代理復制數(shù)據(jù)，確保即使在發(fā)生故障時數(shù)據(jù)也是持久的和可訪問的。Kafka還支持數(shù)據(jù)分區(qū)，允許在多個事件消費者之間并行處理和負載平衡。這使得在處理實時數(shù)據(jù)流時實現(xiàn)高吞吐量和低延遲成為可能。

此外，Kafka與事件驅動架構生態(tài)系統(tǒng)的其他組件集成得很好。它可以充當中央事件總線，支持不同服務和系統(tǒng)之間的無縫集成和通信。Kafka Connect提供了與各種數(shù)據(jù)源和接收器集成的連接器，簡化了集成過程。Kafka Streams是一個建立在Kafka之上的流處理庫，允許實時處理和轉換數(shù)據(jù)流，使復雜的事件驅動應用程序可以輕松構建。

構建Kafka EDA的分步指南

Kafka已經成為一個強大的流媒體平臺，能夠開發(fā)強大且可擴展的EDA。憑借其分布式、容錯和高通量的能力，Kafka非常適合構建實時數(shù)據(jù)流和事件驅動的應用程序。以下是從設計到實現(xiàn)的構建Kafka EDA的步驟。

步驟1：定義系統(tǒng)需求

首先要清楚地定義EDA的目標和需求。確定需要捕獲的事件類型、所需的可擴展性和容錯性，以及任何特定的業(yè)務需求或約束。

步驟2：設計事件生成器

識別生成事件的源，并設計可以在Kafka主題上發(fā)布這些事件的事件生成器。無論是應用程序、服務還是系統(tǒng)，都要確保事件結構正確，并包含相關的元數(shù)據(jù)。考慮使用Kafka生產者庫或框架來簡化實現(xiàn)。

創(chuàng)建生產者的示例Python代碼：

Python 
 from kafka import KafkaProducer

 # Kafka broker configuration
 bootstrap_servers = 'localhost:9092'

 # Create Kafka producer
 producer = KafkaProducer(bootstrap_servers=bootstrap_servers)

 # Define the topic to produce messages to
 topic = 'test_topic'

 # Produce a message
 message = 'Hello, Kafka Broker!'
 producer.send(topic, value=message.encode('utf-8'))
15
16 # Wait for the message to be delivered to Kafka
17 producer.flush()
18
19 # Close the producer
20 producer.close()
21

步驟3：創(chuàng)建Kafka主題

在Kafka中定義主題，作為事件通信的通道。根據(jù)預期的負載和數(shù)據(jù)需求仔細規(guī)劃主題結構、分區(qū)策略、復制因素和保留策略。確保主題與事件粒度一致，并支持未來的可擴展性。

步驟4：設計事件消費者

確定將使用和處理Kafka事件的組件或服務。設計訂閱相關主題并執(zhí)行實時處理的事件消費者。考慮所需使用者的數(shù)量，并相應地設計使用者應用程序。

創(chuàng)建消費者的示例Python代碼：

Python 
 from kafka import KafkaConsumer

 # Kafka broker configuration
 bootstrap_servers = 'localhost:9092'

 # Create Kafka consumer
 consumer = KafkaConsumer(bootstrap_servers=bootstrap_servers)

 # Define the topic to consume messages from
 topic = 'test_topic'

 # Subscribe to the topic
 consumer.subscribe(topics=[topic])

 # Start consuming messages
 for message in consumer:
 # Process the consumed message
 print(f"Received message: {message.value.decode('utf-8')}")

 # Close the consumer
 consumer.close()

步驟5：實現(xiàn)事件處理邏輯

在使用者應用程序中編寫事件處理邏輯。這可能涉及數(shù)據(jù)轉換、豐富、聚合或任何其他特定于業(yè)務的操作。利用Kafka的消費者組功能在多個實例之間分配處理負載，并確保可擴展性。

步驟6：確保容錯

實現(xiàn)容錯機制，處理故障，確保數(shù)據(jù)的持久性。為Kafka代理配置合適的復制因子以提供數(shù)據(jù)冗余。在使用者應用程序中實現(xiàn)錯誤處理和重試機制，以處理異常情況。

步驟7：監(jiān)控和優(yōu)化性能

設置監(jiān)控和可觀察性工具來跟蹤Kafka集群和事件驅動應用程序的運行狀況和性能。監(jiān)控吞吐量、延遲和使用者延遲等關鍵指標，以識別瓶頸并優(yōu)化系統(tǒng)。考慮利用Kafka的內置監(jiān)控功能或與第三方監(jiān)控解決方案集成。

步驟8：與下游系統(tǒng)集成

確定事件驅動的架構將如何與下游系統(tǒng)或服務集成。設計連接器或適配器，以實現(xiàn)Kafka到其他系統(tǒng)的無縫數(shù)據(jù)流。探索Kafka Connect，這是一個與外部數(shù)據(jù)源或接收器集成的強大工具。

步驟9：測試和迭代

徹底測試EDA，以確保其可靠性、可擴展性和性能。執(zhí)行負載測試以驗證系統(tǒng)在不同工作負載下的行為。基于測試結果和真實世界的反饋，迭代和改進設計。

步驟10：擴展和發(fā)展

隨著系統(tǒng)的增長，監(jiān)控其性能并相應地進行擴展。添加更多Kafka代理，調整分區(qū)策略，或優(yōu)化消費者應用程序來處理增加的數(shù)據(jù)量。

Kafka EDA的用例

Kafka EDA由于其處理高吞吐量、容錯和實時數(shù)據(jù)流的能力，已經在各個領域有了各種應用。以下是Kafka擅長的一些常見用例：

實時數(shù)據(jù)處理和分析：Kafka處理大容量、實時數(shù)據(jù)流的能力使其成為處理和分析大規(guī)模數(shù)據(jù)的理想選擇。用戶可以將來自多個來源的數(shù)據(jù)攝取到Kafka主題中，然后使用Apache Flink、Apache Spark或Kafka Streams等流式框架實時處理和分析數(shù)據(jù)。該用例在實時欺詐檢測、監(jiān)控物聯(lián)網設備、點擊流分析和個性化推薦等場景中很有價值。

• 事件驅動的微服務架構：Kafka在微服務架構中充當通信骨干，不同的服務通過事件進行通信。每個微服務都可以充當事件生產者或消費者，從而支持松散耦合和可擴展的架構。Kafka確保可靠和異步的事件交付，使服務能夠獨立運行，并以自己的速度處理事件。這個用例有助于構建可擴展和解耦的系統(tǒng)，在基于微服務的應用程序中實現(xiàn)敏捷性和自主性。
• 日志聚合和流處理：Kafka的持久性和容錯特性使其成為日志聚合和數(shù)據(jù)流處理的絕佳選擇。通過將日志事件發(fā)布到Kafka主題，用戶可以集中來自不同系統(tǒng)的日志，并執(zhí)行實時分析或存儲它們以備將來的審計、調試或合規(guī)目的。Kafka與Elasticsearch和Apache Hadoop生態(tài)系統(tǒng)等工具的集成實現(xiàn)了高效的日志索引、搜索和分析。
• 消息和數(shù)據(jù)集成：Kafka的發(fā)布/訂閱模型和分布式特性使其成為集成不同應用程序和系統(tǒng)的可靠消息系統(tǒng)。它可以作為在系統(tǒng)之間傳輸消息的數(shù)據(jù)總線，支持解耦和異步通信。Kafka的連接器允許與其他數(shù)據(jù)系統(tǒng)(例如關系數(shù)據(jù)庫、Hadoop和云存儲)無縫集成，支持數(shù)據(jù)管道和ETL進程。
• 物聯(lián)網：Kafka以容錯和可擴展的方式處理大量流數(shù)據(jù)的能力非常適合物聯(lián)網應用。它可以實時獲取和處理來自物聯(lián)網設備的數(shù)據(jù)，實現(xiàn)實時監(jiān)控、異常檢測和警報。Kafka的低延遲特性使其成為物聯(lián)網用例的絕佳選擇，在這些用例中，快速響應時間和實時洞察至關重要。

這些只是Kafka EDA可以應用的廣泛用例的幾個例子。它的靈活性、可擴展性和容錯性使其成為處理流數(shù)據(jù)和構建實時事件驅動應用程序的通用平臺。

結論

Kafka EDA徹底改變了用戶處理數(shù)據(jù)流和構建實時應用程序的方式。憑借其處理高吞吐量、容錯數(shù)據(jù)流的能力，Kafka支持可擴展和解耦的系統(tǒng)，從而增強靈活性、自主性和可擴展性。無論是實時數(shù)據(jù)處理、微服務通信、日志聚合、消息集成還是物聯(lián)網應用，Kafka的可靠性、可擴展性和無縫集成能力使其成為構建EDA的強大工具，這些架構可以驅動實時洞察，并使用戶能夠利用其數(shù)據(jù)的價值。

原文標題：Building an Event-Driven Architecture Using Kafka，作者：Rama Krishna Panguluri