隨著企業擁抱數字化轉型，并將關鍵的基礎設施和應用程序遷移到云端，作為關鍵組成部分的“數據云”已經開始成形。這些數據云建立在多云數據基礎設施(如Databricks或Snowflake的數據平臺)之上，使企業能夠擺脫應用程序和存儲豎井的束縛，在內部、私有、公共和混合云環境中共享數據。

伴隨而來的數據量突飛猛進。大數據應用越來越多地從人工智能(AI)、機器學習(ML)和物聯網(IoT)等各種技術中生成和吸收更多不同類型的數據，數據本身的性質正在從根本上改變數據集的體積和形狀。

隨著數據從約束中解放出來，數據生命周期的可見性變得模糊，傳統的質量控制工具很快就會過時。

壞數據和好數據一樣容易通過數據管道

對于典型的企業，數據監測和管理仍然由來自不同時代設計的工具來處理。這些工具原本被設計用來監視豎井式的靜態數據，當然它們做得很好。然而，隨著大數據、云計算和數據倉庫/數據湖/數據管道等新技術開始進入主流，數據需求發生了變化。

傳統的數據工具從未被設計用來對今天這種復雜的連續數據管道進行質量控制。這些管道將數據從一個應用程序移動到另一個應用程序，從云到云。然而，數據管道經常將數據直接輸入到客戶體驗和商業決策軟件中，這帶來了巨大的風險。

“錯誤的機票價格”是一個很好的例子，可以說明糟糕的數據如何逃過人們的注意并破壞業務目標。錯誤的貨幣轉換、人為輸入錯誤，甚至是軟件故障，都經常導致錯誤的票價，以至于一些旅游達人專門尋找這些“抄底”票價來“薅羊毛”。

錯誤的數據同樣可能導致不正確的信用評分、發送到錯誤地址的貨物、產生產品缺陷等等。市場研究公司Gartner發現：企業認為，糟糕的數據質量平均每年造成1500萬美元的損失。

管道數據的安全檢查員和清理人員在哪里?

當開發人員急于應對大規模維護和管理動態數據的挑戰時，大多數人首先想到了他們用來構建現代軟件應用程序的DevOps(開發運營)和CI/CD(持續集成/持續部署)方法。然而，要將這些實踐移植到數據中，有一個關鍵的挑戰：開發人員必須理解數據的彈性與應用程序和基礎程序不同。

隨著應用程序越來越多地采用來自云的數據湖、數據倉庫和流數據源的數據管道，需要對這些數據源的質量進行持續監控，以防止出現中斷。

我們必須問，誰負責在數據進入數據管道之前的數據檢查，誰負責出現數據泄漏或錯誤數據時的混亂的數據管道清理。到目前為止，典型的業務處理管道問題和中斷的方法是一種純粹的反應性方法，在應用程序中斷后修復。

為什么企業需要數據DevOps

今天典型的多云、數據驅動的企業希望用敏捷技術來擴展數據平臺，特別注意的是將DevOps(開發運營)方法移植到數據業務中。

軟件領域的DevOps之所以能夠成功，是因為有一個強大的安全網絡SRE(Site Reliability Engineering 站點可靠性工程)與之一起成熟起來。SRE的原則確保組織可以在部署后監控軟件的行為，確保在實踐中滿足生產的應用，而不僅僅是理論。如果沒有SRE，對于業務關鍵型應用程序和基礎設施來說，依賴敏捷方法風險太大，而且容易出錯。

數據業務同樣需要類似方法保障，有人稱之為DRE((Data Reliability Engineering 數據可靠性工程))。一些組織已經對他們的數據軟件進行了開發/階段測試，但標準的開發/階段測試僅僅是對動態大數據的質量檢查。數據具有無法通過傳統測試實踐進行管理的特性。對于初學者來說，測試數據比較困難，因為數據是動態的。在你的管道中流動的數據——通常是通過應用程序獲取的實時信息生成——甚至在開發或管道部署時可能是不可用的。

如果只依賴于開發/階段測試，那么大量的不良數據可能會流經數據管道，從而導致中斷和錯誤，而質量控制工具直到出現問題后才能夠發現問題。

數據DevOps和數據可靠性工程入門

對于已經接受敏捷和DevOps實踐的組織來說，開發數據DevOps能力不應該是一個沉重的負擔。關鍵在于根據當今龐大、不斷變化、高容量、云計算數據的獨特特點，打造新的角色和能力。

如果遵循下面的六個步驟來奠定適當的質量控制基礎，企業組織將會很好地控制失控的數據。

1.接受數據DevOps并明確定義角色

與傳統的靜態數據(以及支持它的系統)相比，現代數據帶來了不同的挑戰，所以一定要清楚地將數據DevOps角色與密切相關的職位區分開來。例如，數據工程師不是質量控制專家，也不應該是。他們有不同的優先事項。數據分析師和其他軟件工程師也是如此。

2.確定DRE將如何以及在何處匹配業務流程

DRE應該與DataOps(數據運營)/DevOps(開發運營)團隊緊密合作，但該角色應該在數據團隊中創建。為了確保持續的質量，DRE必須參與數據創建和管理過程中的所有關鍵步驟。

3.提供幫助DevOps團隊成功的工具

數據DevOps應該有自己的一組工具、專業知識和最佳實踐，其中一些來自相關領域(比如軟件測試)，其他的開發是為了應對移動中的高容量、高基數數據的獨特挑戰。

4.確定如何編寫及維護質量檢查和控制

許多數據質量程序失敗的原因是，用于編寫質量檢查的遺留工具和自己開發的工具難以處理復雜性。這些工具本身很復雜，難以使用，最終成為擱置的軟件。隨著數據的發展，必須考慮更新和維護數據質量檢查的過程，依靠直觀的工具來輕松地完成工作。

5.開始映射過程

隨著數據DevOps團隊的發展，不要忘記規劃流程。確保數據DevOps團隊知道發生數據中斷時應遵循的程序。DRE可能需要引入其他專家，如數據工程師、數據分析師甚至業務利益相關者，他們可以解釋數據，并消除質量問題對合法變更的歧義。

6.為成功的補救措施描繪一幅清晰的畫面

大數據補救是一個獨特的挑戰。對于動態數據，某些類型的補救是沒有意義的。例如，如果正在糾正導致http請求失敗或頁面加載緩慢的問題，那么這些進程就會丟失。

現代數據驅動的應用程序需要數據DevOps來確保關鍵任務數據的可靠性

現代云計算、數據驅動的企業需要可靠、高質量的數據來滿足其業務目標。然而，現代環境中數據的復雜性意味著，企業不僅需要DevOps用于IT和應用程序，還需要DevOps用于數據。數據DevOps是一門學科,需要方法對連續數據進行質量監控。

對于大多數企業來說，控制數據的下一步就是采取步驟，確保持續質量的任何步驟。將數據質量控制作為優先事項，擁抱數據DevOps，并開始規劃如何將這些新功能與您現有的DevOps、數據和測試團隊相適應，這樣就有機會領先于競爭對手。