?譯者 | 張鋒

策劃 | 云昭

不同項目都有各自的難點，數據流、分析和其他軟件開發都是如此。下面顯示了三個案例研究，它們具有顯著不同的數據倉庫現代化體系結構和技術。這些例子來自不同的垂直行業：軟件和云業務，金融服務，物流和運輸，以及旅游住宿業。

1、Confluent從使用Stitch的批量ETL到使用Kafka的流式ETL的數據倉庫現代化

Confluent盡量多用自身開發的軟件來實現內部數據倉庫管道的現代化的做法，該使用案例在大多數組織中都是簡單和標準的：將Salesforce數據提取、轉換和加載（ETL）到Google BigQuery數據倉庫中，以便企業可以使用這些數據。但實際上它要比聽起來更為復雜。

組織通常依靠第三方ETL工具定期將數據從CRM和其他應用程序加載到其數據倉庫中。這些批處理工具在Salesforc中捕獲業務事件的時間與這些事件可供使用和處理的時間之間引入了延遲。批處理工作負載通常會導致Salesforce報告和內部儀表板之間出現差異，從而導致對數據完整性和可靠性的擔憂。

Confluent一開始使用了Talend的Stitch Batch ETL工具。舊架構是這樣的：

批處理ETL和中間的第三方工具

導致信息更新不充分和不一致

在過去幾年中，Confluent投資于在內部數據倉庫管道中構建流處理功能。Confluent利用其自己的完全托管的Confluent Cloud連接器（在本例中為Salesforce CDC Source和BigQuery Sink連接器）、用于數據治理的Schema Registry和用于可靠流式ETL的KSQLDB+Kafka Streams將SFDC數據發送到BigQuery。這里是現代化的架構：

2、PayPal將每天300億個事件的讀取時間從12小時縮短到幾秒鐘

PayPal有大量的Kafka項目，用于許多關鍵和分析工作負載。在此使用案例中，它將Kafka消費者擴展為每天300-350億個事件，以將其分析工作負載遷移到Google云平臺（GCP）。

流應用程序將來自Kafka的事件直接接收到BigQuery。這是PayPal的一個關鍵項目，因為大多數分析讀數都基于此。數據倉庫現代化和構建云原生架構的成果是：將讀取時間從12小時縮短到幾秒鐘。

3、Shippeo從本地部署數據庫到多個云原生數據湖

Shippeo是一個法國供應鏈可視化管理平臺，致力于為企業提供準確的物流配送預測信息以及實時跟蹤信息服務。平臺配備有基于機器學習的ETA算法，可以快速分析和提醒運輸途中出現的問題，幫助企業有效地應對危機。

Shippeo為物流提供商、托運人和承運商提供實時和多式聯運可見性。它的軟件使用自動化和人工智能來分享實時洞察，實現更好的協作，并釋放您的供應鏈的全部潛力。該平臺可以即時訪問每次交付的預測性實時信息。

下圖描述了Shippeo如何將傳統數據庫（MySQL和PostgreSQL）和云原生數據倉庫（Snowflake和BigQuery）與Apache Kafka和Debezium集成：

這是云原生企業架構利用“單項優勢”方法構建數據倉庫和分析的絕佳示例。Kafka將分析工作負載從事務系統中分離出來，并為緩慢的消費者處理背壓。

4、Sykes Cottages通過Confluent Cloud、Kafka Connect和Snowflake全面管理端到端管道

Sykes Holiday Cottages是英國領先且發展最快的獨立度假別墅租賃機構之一，在英國、愛爾蘭和新西蘭擁有超過19000間度假別墅。

客戶在網絡上的體驗是重中之重，也是保持競爭力的一種方式。我們的目標是讓客戶在每個階段都能獲得完美的度假小屋體驗和樂趣。讓數據管道為這一創新提供動力至關重要。數據倉庫現代化和數據流提供了通過數據驅動的方法進一步創新Web體驗的新方法。

5、從不一致和緩慢的批處理工作負載

雖然已經使用了幾年，但現有的管道出現了一些問題，影響了這個循環。在這個管道的早期，ETL過程將數據轉換為行和列（結構化數據）。制作了各種副本，并通過靜態報告呈現結果。需要數據工程師來處理變化，如新事件或上下文信息。規模也具有挑戰性，因為這主要是手動完成的。

Sykes Holiday Cottages嚴格地將數據保存在半結構化格式中，直到將其接收到倉庫中，然后使用ELT對數據進行一次轉換，這樣可以簡化管道并使其更加靈活。

6、基于事件的實時更新和連續流處理

新的Web事件（以及與之相關的任何上下文）都可以包裝在消息中，并且可以一直流到倉庫，而不需要進行任何代碼更改。然后，Web團隊可以通過查詢或可視化工具獲得新事件。

當前吞吐量約為每分鐘50K（峰值超過300K）條消息。隨著新事件的捕獲，這將大大增加。此外，上述每個組件都必須相應地進行縮放。

新的體系結構使Web團隊能夠捕獲新事件并使用自助服務工具分析數據，而不依賴于數據工程。

總之，這樣做的商業案例是令人信服的。根據我們的測試和預測，我們預計這項投資在三年內至少有10倍的投資回報率。

7、DoorDash從多管道到Snowflake集成的數據流

即使是數字原生代，在自己的數據中心沒有傳統應用程序的情況下在云中開展業務，也需要實現企業架構的現代化，以改進業務流程、降低成本并為其下游應用程序提供實時信息。

構建多條試圖實現類似目的的管道是成本效率低下的。DoorDash使用云原生AWS消息傳遞和流數據處理系統（如Amazon SQS和Amazon Kinesis）將數據接收到Snowflake數據倉庫中：

混合不同類型的數據傳輸并通過多個消息傳遞/排列系統，而沒有仔細設計其周圍的可觀察性，導致操作困難。

這些問題導致了DoorDash的高數據延遲、巨大的成本和運營開銷。因此，DoorDash遷移到由Apache Kafka和Apache Flink提供支持的云原生流平臺，以便在將數據接收到Snowflake之前進行連續的流處理：

向數據流平臺的遷移為DoorDash帶來了許多好處：

• 異構數據源和目的，包括使用Confluent REST代理的REST API
• 易于訪問
• 具有Schema約束的端到端數據治理和具有Confluent Schema Registry的Schema演變
• 可擴展，容錯，易于小型團隊操作

關于這種云原生基礎設施優化有很多細節，比如如何使用Kafka和Flink構建可擴展的實時事件處理等等。

8、云原生項目的真實案例研究證明了其商業價值

數據倉庫和數據湖現代化，只有在有業務價值的情況下才有意義。Snowflake、Databricks或Google BigQuery等云服務的顯著優勢是彈性擴展、降低操作復雜性和加快上市時間。

數據流在這些計劃中發揮著至關重要的作用，以集成傳統和云原生數據源、連續流ETL、數據源之間的真正解耦以及多個數據接收器（數據湖、數據倉庫、業務應用程序）。

Confluent、PayPal、Shippeo、Sykes Cottages和DoorDash的案例研究展示了他們遷移到云原生基礎架構以提高實時可見性和分析能力的不同成功案例。彈性擴展和全面管理的端到端管道是通過不斷更新的信息獲取業務價值的關鍵成功因素。

原文鏈接：https://dzone.com/articles/case-studies-cloud-native-data-streaming-for-data

譯者介紹

張鋒，51CTO社區編輯，長期從事技術顧問工作，專注于運維/云原生領域，精通網絡疑難故障分析，有很豐富的大型銀行運維工具建設實踐經驗。?