本文介紹了從 Fluentd 遷移到 Fluent Bit 的原因、區(qū)別、方法和注意事項(xiàng)。遷移能帶來(lái)更高的性能、更好的遙測(cè)支持和更靈活的配置。建議逐步遷移，并考慮采用遙測(cè)管道架構(gòu)。

譯自：A Guide To Migrating From Fluentd To Fluent Bit^[1]

作者：Anurag Gupta

編者注：本文是系列文章的一部分。另請(qǐng)閱讀基于 Manning 圖書的節(jié)選，“使用 Kubernetes 的 Fluent Bit^[2]”：

Fluentd 創(chuàng)建于 14 年前，至今仍是企業(yè)中部署最廣泛的日志收集技術(shù)之一。Fluentd 的分布式插件架構(gòu)和高度寬松的許可使其成為云原生計(jì)算基金會(huì) (CNCF)^[3]的理想選擇，現(xiàn)已成為畢業(yè)項(xiàng)目。然而，企業(yè)現(xiàn)在正被遙測(cè)數(shù)據(jù)淹沒(méi)，需要具有更高性能、對(duì)不斷發(fā)展的模式和格式的更多原生支持以及更高的處理靈活性的解決方案。Fluent Bit 應(yīng)運(yùn)而生。

Fluent Bit^[4] 最初在 Fluent 生態(tài)系統(tǒng)^[5] 中作為一個(gè)子項(xiàng)目發(fā)展，后來(lái)從 Fluentd 擴(kuò)展到支持所有遙測(cè)類型——日志、指標(biāo)和追蹤。Fluent Bit 現(xiàn)在是兩者中更受歡迎的一個(gè)，擁有超過(guò) 150 億的部署，并被 Amazon^[6]、Google^[7]、Oracle^[8] 和 Microsoft^[9] 等公司使用。Fluent Bit 還與 OpenTelemetry^[10] 信號(hào)、格式和協(xié)議完全一致，這確保了用戶能夠隨著遙測(cè)數(shù)據(jù)的增長(zhǎng)和發(fā)展而繼續(xù)處理這些數(shù)據(jù)。

作為這些項(xiàng)目的維護(hù)者，我們最常被問(wèn)到的問(wèn)題包括：

• ? 我們?nèi)绾芜w移？
• ? 我們應(yīng)該注意什么？
• ? 遷移能給我們帶來(lái)什么商業(yè)價(jià)值？

本文旨在通過(guò)示例回答這些問(wèn)題。我們希望讓從 Fluentd 遷移到 Fluent Bit^[11] 成為一個(gè)簡(jiǎn)單的決定。

為什么要遷移？

以下是用戶從 Fluentd 切換到 Fluent Bit 的一些原因：

1. 1. 在您已使用的相同資源上獲得更高的性能
2. 2. 完全支持 OpenTelemetry 的日志、指標(biāo)和追蹤，以及 Prometheus 對(duì)指標(biāo)的支持
3. 3. 更簡(jiǎn)單的配置和路由到多個(gè)位置的能力
4. 4. 更快地添加自定義處理規(guī)則
5. 5. 集成監(jiān)控以更好地了解性能和數(shù)據(jù)流

Fluentd 與 Fluent Bit：有什么區(qū)別

背景

要了解項(xiàng)目之間的所有差異，重要的是要了解每個(gè)項(xiàng)目的背景以及它所構(gòu)建的時(shí)代。對(duì)于 Fluentd，主要語(yǔ)言是 Ruby，最初旨在幫助用戶將數(shù)據(jù)推送到 Hadoop 等大數(shù)據(jù)平臺(tái)。該項(xiàng)目遵循分布式架構(gòu)，插件在安裝和部署主二進(jìn)制文件后安裝。

另一方面，F(xiàn)luent Bit 是用 C 編寫的，專注于在較小的系統(tǒng)（容器、嵌入式 Linux）中的超高性能。該項(xiàng)目借鑒了 Fluentd 的插件，而是選擇完全嵌入式插件，這些插件是核心二進(jìn)制文件的一部分。

性能

從 Fluentd 切換到 Fluent Bit 的明顯區(qū)別和主要價(jià)值在于性能。使用 Fluent Bit，您可以使用相同的資源處理的日志量可能比原來(lái)高 10 到 40 倍，具體取決于您使用的插件。Fluent Bit 從一開(kāi)始就被編寫為具有超高性能，專注于盡可能快地傳輸數(shù)據(jù)以進(jìn)行數(shù)據(jù)分析。后來(lái)，人們發(fā)現(xiàn)性能足夠高效，可以在不影響使代理盡可能快的使命的情況下添加更多的邊緣處理。

路由

Fluent Bit 的其他部分是從 Fluentd 遇到的挑戰(zhàn)演變而來(lái)的，例如緩沖和路由。對(duì)于 Fluentd，多路由是事后才考慮的，用戶需要“復(fù)制”數(shù)據(jù)流以將數(shù)據(jù)路由到多個(gè)點(diǎn)。這使得配置管理成為一場(chǎng)噩夢(mèng)，此外還基本上復(fù)制了路由數(shù)據(jù)的資源需求。

在 Fluent Bit 中，緩沖區(qū)存儲(chǔ)一次，這允許多個(gè)插件“訂閱”數(shù)據(jù)流。這確保了數(shù)據(jù)存儲(chǔ)一次并訂閱多次，從而允許進(jìn)行多路由，而無(wú)需在性能和配置疲勞之間進(jìn)行權(quán)衡。

遙測(cè)信號(hào)焦點(diǎn)

雖然 Fluentd 最初是一個(gè)數(shù)據(jù)傳輸器，但它后來(lái)發(fā)展成為一個(gè)日志記錄代理，用于 Kubernetes^[12] 等項(xiàng)目和 Splunk 等公司。另一方面，F(xiàn)luent Bit 最初是一個(gè)嵌入式指標(biāo)收集器，日志文件隨后才進(jìn)入。隨著 Fluent Bit 的采用開(kāi)始超過(guò) Fluentd 的功能，添加了 OpenTelemetry 日志/指標(biāo)/追蹤、Prometheus Scrape 和 Remote Write 支持、eBPF 和分析支持等功能。

今天，F(xiàn)luent Bit 與 OpenTelemetry 模式、格式和協(xié)議保持一致，旨在成為一種輕量級(jí)實(shí)現(xiàn)，具有高度的性能。

自定義處理

Fluentd 和 Fluent Bit 具有許多相同的處理器名稱，但在自定義處理方面，選項(xiàng)卻大不相同：

• ? 對(duì)于 Fluentd，選項(xiàng)是 enable_ruby，它允許在配置中使用自定義 Ruby 腳本來(lái)執(zhí)行操作。這對(duì)于小型任務(wù)可以有效地工作；但是，隨著邏輯變得越來(lái)越復(fù)雜，它會(huì)帶來(lái)很大的懲罰，從而增加了更多的性能瓶頸。
• ? 對(duì)于 Fluent Bit，自定義處理是用 Lua 語(yǔ)言完成的，這提供了極大的靈活性。但是，與 Fluentd 不同，F(xiàn)luent Bit 的 Lua 處理器性能非常出色，可以大規(guī)模使用（100+ TB/天）。

自定義插件

這兩個(gè)項(xiàng)目都允許自定義插件來(lái)幫助您連接到源或目標(biāo)。對(duì)于 Fluentd，這些自定義插件是“Ruby Gems”，您可以下載并將其安裝到現(xiàn)有或新的安裝或部署中。對(duì)于 Fluent Bit，自定義插件是用 Go 編寫和編譯的。還有一些新的舉措，允許您用您想要的任何語(yǔ)言編寫自定義插件，并將它們編譯成 WebAssembly。

我們從 Fluentd 的分布式插件架構(gòu)中吸取的一個(gè)教訓(xùn)是，插件的數(shù)量可能會(huì)呈指數(shù)級(jí)增長(zhǎng)。然而，通常所需的高質(zhì)量和維護(hù)使得許多插件被放棄且不受支持。對(duì)于 Fluent Bit，插件都集成到源代碼本身中，這確保了與每個(gè)版本的兼容性。自定義插件仍然獨(dú)立于主存儲(chǔ)庫(kù)。但是，我們正在尋找方法，允許它們也共享主 GitHub 存儲(chǔ)庫(kù)中本機(jī) C 插件的相同優(yōu)勢(shì)。

監(jiān)控

了解數(shù)據(jù)如何在您的環(huán)境中傳輸通常是部署 Fluentd 或 Fluent Bit 的用戶提出的首要請(qǐng)求。對(duì)于 Fluentd，啟用這些設(shè)置可能需要通過(guò)“monitor_agent”或使用第三方 Prometheus 導(dǎo)出器插件進(jìn)行復(fù)雜的配置。這些監(jiān)控插件也增加了 Fluentd 的維護(hù)開(kāi)銷，這會(huì)影響性能。

Fluent Bit 將監(jiān)控作為其核心功能的一部分，并且可以通過(guò)本機(jī)插件（fluentbit_metrics）檢索，或者可以在 HTTP 端口上進(jìn)行抓取。Fluent Bit 的指標(biāo)也比 Fluentd 的包含更多信息，這使您可以了解字節(jié)、記錄、存儲(chǔ)和連接信息。

如何開(kāi)始從 Fluentd 遷移到 Fluent Bit

我們要回答的下一個(gè)問(wèn)題是：如何開(kāi)始？

第一個(gè)重要步驟是了解 Fluentd 的部署方式、環(huán)境中發(fā)生的處理以及數(shù)據(jù)流向何處。

您無(wú)需擔(dān)心什么：

1. 架構(gòu)支持： 兩個(gè)應(yīng)用程序都支持 x86 和 ARM。

2. 平臺(tái)支持： Fluent Bit 支持與 Fluentd 今天相同的平臺(tái)，甚至更多。舊系統(tǒng)可能有所不同；但是，重要的是要注意，這些系統(tǒng)在任何 OSS 項(xiàng)目中都沒(méi)有維護(hù)。

3. 正則表達(dá)式： 如果您使用 Onigmo 解析器庫(kù)構(gòu)建了一個(gè)大型正則表達(dá)式庫(kù)，您可以放心地知道 Fluent Bit 支持它。

部署

作為代理部署（Linux 或 Windows 包）

當(dāng) Fluentd 作為代理部署在 Linux 或 Windows 上時(shí)，其主要功能是收集本地日志文件或 Windows 事件日志，并將它們路由到特定目標(biāo)。值得慶幸的是，F(xiàn)luent Bit 的本地收集能力與 Fluentd 的能力相同，包括在失敗時(shí)恢復(fù)、存儲(chǔ)上次收集的日志行和本地緩沖的能力。

在 Kubernetes 中作為 DaemonSet 部署

如果 Fluentd 在您的 Kubernetes 集群中作為 DaemonSet 運(yùn)行，您應(yīng)該首先檢查正在運(yùn)行的鏡像。由于 Fluentd 具有分布式插件，因此 DaemonSet 鏡像可能包含特定的插件，這確保您可以直接從讀取 Kubernetes 日志到最終目標(biāo)。此示例^[13] 包含 OpenSearch 和 Kafka 作為插件，因此您應(yīng)該驗(yàn)證您使用的鏡像是否具有與 Fluent Bit 相同的插件。Fluent Bit 還支持對(duì)所有日志進(jìn)行 Kubernetes 富集，提供有關(guān)命名空間、pod、標(biāo)簽等的數(shù)據(jù)。

作為聚合器/收集器部署

如果您的 Fluentd 部署用于從 syslog、網(wǎng)絡(luò)設(shè)備或 HTTP 請(qǐng)求收集日志，您可以首先驗(yàn)證 Fluent Bit 是否具有相同的功能。例如，F(xiàn)luent Bit 具有 syslog、TCP、HTTP 和 UDP 插件，可以覆蓋大多數(shù)這些用例。此外，F(xiàn)luent Bit 還可以接收 OpenTelemetry HTTP1/gRPC、Prometheus Remote Write、HTTP gzip 和 Splunk HTTP Event Collector (HEC) 作為額外的入站信號(hào)。

添加遙測(cè)管道

從 Fluentd 遷移到 Fluent Bit 時(shí)，我們還建議考慮在代理和目標(biāo)之間添加遙測(cè)管道。這允許您將更大的處理邏輯塊在 Fluentd 代理中向下游移動(dòng)。

數(shù)據(jù)源（輸入）、[14]和路由數(shù)據(jù)（處理）以及數(shù)據(jù)目的地（輸出）。

配置

Fluentd 和 Fluent Bit 之間的配置語(yǔ)法差異很大。雖然兩者最近都開(kāi)始更多地支持 YAML，但大多數(shù)舊的 Fluentd 配置仍然會(huì)使用類似于 XML 的特定于域的配置語(yǔ)言編寫。

一些一般說(shuō)明：

1. 1. 考慮一次驗(yàn)證一個(gè)插件，然后擴(kuò)展到單個(gè)路由（例如，將系統(tǒng)日志路由到 OpenSearch）。
2. 2. 緩沖和線程設(shè)置在 Fluent Bit 中并不重要。
3. 3. 安全設(shè)置應(yīng)該相似。

如有疑問(wèn)，聯(lián)系 Fluent 社區(qū)^[15] 有助于解決一些更細(xì)粒度的設(shè)置。

自定義插件

遷移時(shí)，重要的是確保 Fluent Bit 支持所有插件（源和目標(biāo)）。您還應(yīng)該檢查它是否支持有關(guān)身份驗(yàn)證、授權(quán)或訪問(wèn)的特定設(shè)置。這將是一個(gè)手動(dòng)過(guò)程，可能需要一些時(shí)間。但是，這也將使您有機(jī)會(huì)重新審視您過(guò)去對(duì)特定數(shù)據(jù)格式或插件設(shè)置所做的決定。

自定義處理邏輯

如果您在 Fluentd 中有標(biāo)簽、過(guò)濾器或其他處理邏輯，重要的是要注意您嘗試實(shí)現(xiàn)的功能。雖然看起來(lái)只是交換那些過(guò)濾器可能是最容易的，但您也應(yīng)該考慮將它們直接遷移到 Fluent Bit 處理器^[16] 的方法。

如果您有相當(dāng)數(shù)量的自定義 Ruby，您可以使用大型語(yǔ)言模型 (LLM) 來(lái)幫助將其轉(zhuǎn)換為合適的 Lua。

每次遷移一部分

您不需要一次遷移所有功能。由于 Fluent Bit 輕量級(jí)且性能出色，因此您可以考慮讓每個(gè)代理處理不同部分的工作負(fù)載。隨著時(shí)間的推移，您可以按照上面的邏輯繼續(xù)遷移，而不必?fù)?dān)心日志收集中斷。

結(jié)論

雖然從 Fluentd 遷移到 Fluent Bit 似乎是一項(xiàng)艱巨的任務(wù)，但您有很多關(guān)于如何攻擊以及在哪里集中精力以實(shí)現(xiàn)最大影響的選擇。當(dāng)然，遷移也是重新評(píng)估某些邏輯以進(jìn)行改進(jìn)，甚至引入新的架構(gòu)模式（例如遙測(cè)管道）的好時(shí)機(jī)。

如果您正在尋找指導(dǎo)或協(xié)助幫助，請(qǐng)告訴我。我曾幫助許多人從 Fluentd 遷移到 Fluent Bit，甚至協(xié)助將某些部分現(xiàn)代化為遙測(cè)管道。

引用鏈接

[1] A Guide To Migrating From Fluentd To Fluent Bit:https://thenewstack.io/a-guide-to-migrating-from-fluentd-to-fluent-bit/

[2]使用 Kubernetes 的 Fluent Bit:https://chronosphere.io/resource/fluent-bit-with-kubernetes-manning/?utm_source=the+new+stack&utm_medium=referral&utm_cnotallow=inline-mention&utm_campaign=tns+platform

[3]云原生計(jì)算基金會(huì) (CNCF):https://www.cncf.io/

[4]Fluent Bit:https://chronosphere.io/learn/fluent-bit-v4-0/?utm_source=TNs&utm_medium=sponsored+content&utm_cnotallow=inline-mention&utm_campaign=tns+platform

[5]Fluent 生態(tài)系統(tǒng):https://chronosphere.io/fluent-bit/?utm_source=TNs&utm_medium=sponsored+content

[6]Amazon:https://aws.amazon.com/?utm_cnotallow=inline+mention

[7]Google:https://cloud.google.com/?utm_cnotallow=inline+mention

[8]Oracle:https://developer.oracle.com/?utm_cnotallow=inline+mention

[9]Microsoft:https://news.microsoft.com/?utm_cnotallow=inline+mention

[10]OpenTelemetry:https://thenewstack.io/what-is-opentelemetry/

[11]Fluentd 遷移到 Fluent Bit:https://chronosphere.io/fluent-bit-academy/?utm_source=TNs&utm_medium=sponsored+content&utm_cnotallow=inline-mention&utm_campaign=tns+platform

[12]Kubernetes:https://chronosphere.io/resource/fluent-bit-with-kubernetes-manning/?utm_source=the+new+stack&utm_medium=referral&utm_cnotallow=inline-mention&utm_campaign=tns+platform

[13]此示例:https://hub.docker.com/r/fluent/fluentd-kubernetes-daemonset

[14]數(shù)據(jù)源（輸入）、轉(zhuǎn)換和路由數(shù)據(jù)（處理）以及數(shù)據(jù)目的地（輸出）。:https://cdn.thenewstack.io/media/2025/06/2535bb3a-image1a-1024x470.png

[15]Fluent 社區(qū):https://www.launchpass.com/fluent-all

[16]Fluent Bit 處理器:https://chronosphere.io/learn/explaining-the-fluent-bit-processor/