開放源代碼版本上的數(shù)據(jù)機制改進

如果您正在尋找關于Kubernetes上的Spark的高級介紹，請簽出在Kubernetes上運行Spark的優(yōu)缺點，如果您正在尋找更深的技術潛水，那么閱讀我們的指南設置，管理和監(jiān)控Spark在kubernetes上。

[[382157]]

Data Mechanics是一個托管的Spark平臺，部署在客戶的云帳戶內(nèi)的Kubernetes集群上，可在AWS，GCP和Azure上使用。因此，我們整個公司都建立在Kubernetes上的Spark之上，并且經(jīng)常被問到與簡單地在Kubernetes開源上運行Spark有何不同。

簡短的答案是，我們的平臺實現(xiàn)了許多功能，這些功能使Kubernetes上的Spark更加易于使用且更具成本效益。通過照顧設置和維護，我們的目標是讓您專注于并加速其采用，并節(jié)省大量維護工作。我們的目標是通過使Spark變得應有的簡單，靈活和高性能來加速您的數(shù)據(jù)工程項目。

讓我們來談談基于Spark-on-Kubernetes的主要改進。

直觀的用戶界面

Data Mechanics用戶將獲得一個儀表板，他們可以在其中查看其每個Spark應用程序的日志和指標。他們還可以訪問Spark UI，該UI很快將被我們自己開發(fā)的監(jiān)視工具Data Datas Delight取代(更新，2020年12月：第一個令人高興的里程碑已經(jīng)發(fā)布!)。該項目的目的是使Spark開發(fā)人員在出現(xiàn)故障時能夠輕松對其應用程序進行故障排除，并在必要時為他們提供高級建議，以提高其性能(例如，圍繞數(shù)據(jù)分區(qū)和內(nèi)存管理)。

> Data Mechanics Delight

他們還可以訪問“作業(yè)用戶界面”，該界面提供了管道主要指標的歷史圖表，例如處理的數(shù)據(jù)量，持續(xù)時間和成本。這樣，您的團隊就可以輕松確保生產(chǎn)管道按預期運行，并在必要時跟蹤成本。

> Data Mechanics Jobs UI

動態(tài)優(yōu)化

Data Mechanics平臺自動動態(tài)地優(yōu)化您的管道基礎結構參數(shù)和Spark配置，以使其快速，穩(wěn)定。這是我們需要調(diào)整的設置：您的Pod的內(nèi)存和CPU分配，磁盤設置以及有關并行性，隨機播放和內(nèi)存管理的Spark配置。我們通過分析應用程序的日志和指標，并使用應用程序過去運行的歷史來找出瓶頸并對其進行優(yōu)化來實現(xiàn)。

> Data Mechanics’ Auto Tuning Feature

除了自動調(diào)整外，我們的平臺還可以在Spark應用程序(動態(tài)分配)的級別和Kubernetes集群的級別實現(xiàn)自動擴展。這意味著我們管理Kubernetes節(jié)點池，以在需要更多資源時縮放群集，并且當它們不必要時，將其降低到零。我們還可以輕松使用Spark Ojecutors的現(xiàn)貨節(jié)點進一步降低云成本。

> Data Mechanics’ Autoscaling Feature

最后但并非最不重要的一點，我們提供了一個Spark映像列表，其中包含針對常見數(shù)據(jù)源和接收器的優(yōu)化連接器。您可以直接使用這些映像，也可以將它們用作使用自定義依賴項構建自己的Docker映像的基礎。

這些優(yōu)化的目標是為您提供Spark應該提供的最高性能，并降低您的云成本。實際上，我們?yōu)槲覀兊姆帐杖〉墓芾碣M遠遠超過了我們在您的云提供商賬單上節(jié)省的費用。我們已幫助從競爭性Spark平臺遷移的客戶將其云計算費用減少了50%至75%。

整合方式

Data Mechanics與筆記本服務(如Jupyter，JupyterLab，JupyterHub)和調(diào)度程序/工作流服務(如Airflow)集成在一起。

由于我們的平臺部署在您可以控制的Kubernetes集群上，因此您也可以使用Docker / Kubernetes兼容工具的完整生態(tài)系統(tǒng)。而且，由于我們已部署在您的云帳戶，VPC中，因此您還可以輕松地使用公司網(wǎng)絡內(nèi)的本地工具構建自己的集成。

> Data Mechanics’ Native Integrations With Jupyter, Docker, Kubernetes, Airflow

托管服務讓您高枕無憂

作為托管服務，我們會處理您的基礎架構的設置和維護。注冊數(shù)據(jù)機械師時，您會在云帳戶上給出客戶的權限，我們使用這些權限創(chuàng)建Kubernetes集群，使其與最新的安全修復程序保持最新，并推送每兩個新功能的發(fā)布周。

> The Data Mechanics Platform Architecture

確保您的部署安全也是我們的責任。我們可以在您公司的VPC內(nèi)進行部署，并將您的集群設為私有，因此只能通過您公司的虛擬專用網(wǎng)對其進行訪問。我們?yōu)槟峁┕ぞ撸酝ㄟ^多個選項來應用安全性最佳實踐，以進行數(shù)據(jù)訪問和用戶身份驗證(單點登錄)。

結論

我們很自豪能夠在Kubernetes以及其他開源項目的基礎上，有時甚至為它們做出貢獻。我們正在嘗試以公開透明的方式構建您自己構建的數(shù)據(jù)平臺。通過部署在您的云帳戶和VPC中，您將獲得本地項目的靈活性以及托管平臺的易用性。

我們內(nèi)部進行的優(yōu)化并不能完全彌補我們的定價，事實上，我們已經(jīng)幫助一些客戶從競爭平臺遷移時將總成本降低了50%至75%。

原文鏈接：

https://medium.com/data-mechanics/spark-on-kubernetes-made-easy-how-data-mechanics-improves-on-the-open-source-version-3446e6672240