譯者 | 布加迪

審校 | 重樓

從電子商務交易、物聯網傳感器數據到安全日志，企業如今面臨越來越大的實時數據洪流，這些數據對客戶體驗、運營和業務效率至關重要。對于許多企業來說，開源事件流平臺Apache Kafka就是解決之道。

想知道如何最好地使用Kafka嗎？

這篇快速入門介紹了Kafak的幾個特定用例、來自一些最大最重要數據型企業的實際案例以及運營最佳實踐，以幫助你盡快獲得想要的結果。

Kafka能為你做什么？

Kafka在四個關鍵的企業場景中表現出色：實時數據處理、消息傳遞、運營指標和日志聚合。

1. 實時數據處理

實時數據處理是Kafka真正的亮點。Kafka如同貴企業的中樞神經系統。這項開源技術可以立即處理來自多個來源的數百萬個事件，同時確保沒有數據丟失。

比如說，電子商務平臺可以使用Kafka同時處理客戶點擊、庫存更新和發貨狀態變化，實現實時個性化和庫存管理。Kafka的架構以最小的延遲和最大的可靠性處理這些海量數據流，而內置的分析功能讓團隊可以從數據流中提取即時信息。

2. 消息傳遞

Kafka的消息傳遞功能充當了數字電話交換臺，實現成百上千個應用程序和系統之間的無縫實時通信。以一家處理信用卡交易的金融服務公司為例：Kafka可以同時將交易數據發送到欺詐檢測系統、客戶數據庫和分析平臺，不會錯失任何信息。

隨著組織規模擴大、消息量增加，Kafka可以一同擴展，在處理負載的同時確保沒有關鍵通信內容丟失。

3. 運營指標

運營指標就像控制塔，Kafka用于收集和提供數據，以監控來自整個技術環境的實時指標。無論你是在跟蹤應用程序性能、系統健康狀況還是業務關鍵績效指標（KPI），Kafka都為實時監控和警報提供了單一的真相來源。

全球企業使用Kafka每秒監控數百萬個指標，在潛在問題影響客戶之前發現并解決它們。Kafka還與最流行的監控工具無縫集成，可以輕松地直觀呈現趨勢，并在需要時采取行動。

4. 日志聚合

最后但并非最不重要的是，Kafka將日志管理從一個令人頭疼的問題變成了一個戰略性資產。團隊不再需要費力地拼湊來自幾十上百個系統的日志，而是可以全面實時地了解基礎設施中發生的所有事情。

發生安全事件時，分析人員可以立即訪問和分析來自任何系統或時間段的相關日志。大企業每天通過Kafka處理數十億條日志，使用這些全面的數據用于從威脅檢測到應用程序性能優化的所有操作。不像傳統的日志系統面對大負荷會垮掉，Kafka即使在日志量急劇增長的情況下也能保持其性能。

現實世界的企業如何使用Kafka？

不妨看看世界上一些著名的企業在如何使用Kafka。

1.奈飛（Netflix）玩轉實時個性化

奈飛在全球擁有約3億用戶，每秒處理天文數字般的用戶數據量。Kafka充當了奈飛的實時個性化引擎的支柱，立即處理觀眾的行為，即時提供內容推薦。每個點擊、暫停和回放決定都饋入到奈飛的Kafka系統中，使這家公司能夠不斷完善每位觀眾的體驗。任何擁有數字化業務的企業都可以采用類似的方法將客戶數據轉化為更個性化的體驗。

2.Pinterest驅動瞬間內容發現

Pinterest必須通過即時將用戶與他們喜歡的內容聯系起來，保持數億用戶的參與度。該公司使用Kafka和狀態流處理來實時處理數據流，使其推薦引擎能夠根據每個用戶最近的活動提供建議。Kafka的Streams API提供了這種功能，支持需要實時處理數據，同時還維護多個數據記錄的狀態信息（能夠利用歷史記錄）的用例。

3.沃爾瑪擴展實時商務運營

作為美國最大的零售商，沃爾瑪在美國境內的大規模零售運營依賴實時數據處理，每天在其云基礎設施上處理數萬億條Kafka消息。由于沃爾瑪常面臨數據流量突然激增的情況，尤其是在節假日等大客流量購物期間，沃爾瑪的工程團隊于是開發了一款名為“消息傳遞代理服務”（Messaging Proxy Service）的創新解決方案，從根本上改變了其處理消息處理的方式。這種重新構想Kafka基礎設施的明智策略使沃爾瑪能夠在高峰時期保持高性能，同時降低運營成本。

切實使用Kafka

處理實時數據并采取相應行動變得越來越不是優勢，而是越來越有必要。在我看來，Kafka已證明了它是需要從容地處理龐大數據流的企業的首選平臺。

無論你是在構建實時分析策略、驅動個性化體驗還是更新改造安全運營，Kafka都提供了你所需的基礎，而且它的完全開源版本非常強大。

奈飛、Pinterest和沃爾瑪這幾個例子展示了Kafka的一小部分用處，以及一些大企業在利用該平臺做些什么。借助正確的方法和最佳實踐，貴組織也能與這些先行者一樣充分發掘實時數據的功效。

原文標題：From Netflix to Walmart: Open Source Kafka in Action，作者：Varun Ghai