消息堆積

當 Kafka 消費者的消費速度跟不上 Kafka 主題中生產消息的速度時，會引發一系列問題，對整個數據流管道產生不利影響。

消息堆積：這是最直接也是最明顯的后果。

因為：生產者源源不斷地將消息，寫入 Kafka 主題的分區中，而消費者由于處理能力不足。

無法及時地將這些消息消費掉，就會導致未被消費的消息，在 Kafka Broker 端越積越多。

當消費速度慢于生產速度時，每個分區的 LEO 和 Consumer Offset 之間的差距會持續增大，形成顯著的消費積壓。

可以，增加消費者線程數、或部署更多消費者實例。

以及，一次拉取多條消息后，統一批量寫入數據庫、緩存或調用接口，顯著提升吞吐。

存儲壓力增大

Broker 存儲壓力增大，比如：大量的未消費消息，會占用 Broker 的磁盤空間。

長期積累可能導致磁盤空間不足，影響 Kafka 服務的穩定性。

以及，消息過期風險，比如； Kafka 通常會配置消息的保留策略（例如基于時間或大小）。

如果消息堆積的時間超過保留策略的限制，這些尚未被消費的消息可能會被 Broker 清理掉，導致數據丟失。

延遲增加

消息從生產者發送到 Kafka Broker，再到被消費者處理完成，經歷了一定的時間。

如果消費者消費速度慢，那么消息在隊列中等待被處理的時間就會變長，從而導致整個數據處理的端到端延遲增加。

對于那些對實時性要求較高的應用場景，例如：實時監控、在線分析…等，這種延遲的增加是不可接受的。

下游系統壓力

消費慢有時是由于下游數據庫或接口處理慢，導致調用阻塞，反過來讓 Kafka 消費堆積更嚴重。

比如：短時間內接收到大量延遲到達的數據，可能導致下游系統資源（CPU、內存、網絡等）耗盡，服務響應變慢甚至崩潰。

解決消息處理延遲增加的關鍵在于縮短單條消息的處理時間，并提高整體的并發處理能力。

將一些非關鍵的、耗時的操作異步執行，例如將處理結果寫入數據庫、發送通知等，避免阻塞主消費流程。

以及，通過增加消費者實例內的線程或進程數量，或者使用 Reactor 模式等并發編程模型，同時處理多條消息。