讓我?guī)湍銢Q定。

長(zhǎng)期以來，數(shù)據(jù)湖在業(yè)界引起了極大的轟動(dòng)，通常被視為解決所有數(shù)據(jù)問題的一站式解決方案。 圍繞數(shù)據(jù)湖的嗡嗡聲已將組織誤導(dǎo)為設(shè)計(jì)那些對(duì)業(yè)務(wù)沒有真正價(jià)值的組織。 此外，這些年來有關(guān)數(shù)據(jù)沼澤的恐怖故事只鼓勵(lì)人們懷疑。 如果您正在討論是否需要數(shù)據(jù)湖來加強(qiáng)數(shù)據(jù)策略，那么本文將為您提供一些幫助，以便您進(jìn)行電話咨詢。

[[330252]]

您是否厭倦了從沒有邏輯集中存儲(chǔ)區(qū)域的異構(gòu)系統(tǒng)中提取數(shù)據(jù)?

對(duì)于大多數(shù)處理各種數(shù)據(jù)源的組織來說，這是一個(gè)普遍的問題。 缺乏用于分析工作負(fù)載的集中式數(shù)據(jù)存儲(chǔ)，迫使數(shù)據(jù)使用者創(chuàng)建本地化的系統(tǒng)，通常只限于少數(shù)幾個(gè)用戶來進(jìn)行報(bào)告和分析。 幾種非標(biāo)準(zhǔn)化流程最終導(dǎo)致數(shù)據(jù)孤島的創(chuàng)建，這些孤島可能會(huì)成為數(shù)據(jù)訪問，一致性和準(zhǔn)確性的主要問題。

數(shù)據(jù)湖架構(gòu)可以通過分布式存儲(chǔ)集中數(shù)據(jù)，從而提供可擴(kuò)展，快速，安全和經(jīng)濟(jì)的解決方案。 加上強(qiáng)大的數(shù)據(jù)治理，最終可以解決數(shù)據(jù)孤島中的問題并使組織內(nèi)的數(shù)據(jù)民主化。 這些解決方案可以在內(nèi)部，云甚至混合基礎(chǔ)架構(gòu)中部署。

您是否因?yàn)榇鎯?chǔ)舊數(shù)據(jù)很昂貴而僅僅刪除舊數(shù)據(jù)而感到內(nèi)疚?

數(shù)據(jù)庫管理系統(tǒng)需要隨著數(shù)據(jù)增長(zhǎng)而具有更多的計(jì)算能力，這導(dǎo)致許多設(shè)計(jì)決策(例如分區(qū)和向外擴(kuò)展)進(jìn)一步增加了支出。 當(dāng)成本持續(xù)上升時(shí)，IT可以將數(shù)據(jù)壓縮為備份的數(shù)據(jù)庫備份到更便宜的存儲(chǔ)或平面文件中，或者在大多數(shù)情況下最終將它們刪除。 歸檔數(shù)據(jù)或刪除它們以降低費(fèi)用可能會(huì)損害數(shù)據(jù)獲利的機(jī)會(huì)。

可以設(shè)計(jì)一個(gè)數(shù)據(jù)湖體系結(jié)構(gòu)來實(shí)施數(shù)據(jù)保留策略，從而減輕控制數(shù)據(jù)增長(zhǎng)的壓力。 借助廉價(jià)的分層存儲(chǔ)，您可以輕松地計(jì)劃周密的保留策略并存儲(chǔ)大量數(shù)據(jù)，而不會(huì)浪費(fèi)預(yù)算，并大大減少了編排的開銷。

您是否經(jīng)常使用變化的數(shù)據(jù)結(jié)構(gòu)來調(diào)整數(shù)據(jù)庫?

如果您正在使用關(guān)系數(shù)據(jù)庫并且源數(shù)據(jù)的架構(gòu)不斷變化，那么您要么忽略正在進(jìn)行的更改并可能丟失有價(jià)值的信息，要么正在花費(fèi)資源來將數(shù)據(jù)庫調(diào)整為適用于源架構(gòu)。 無論哪種方式，您都不會(huì)贏。

數(shù)據(jù)湖允許存儲(chǔ)原始數(shù)據(jù)(結(jié)構(gòu)化/非結(jié)構(gòu)化/半結(jié)構(gòu)化)，而無需運(yùn)行任何前期ETL流程。 您不會(huì)丟失正在進(jìn)行的數(shù)據(jù)更改，還可以節(jié)省調(diào)整數(shù)據(jù)庫表結(jié)構(gòu)，ETL管道等的費(fèi)用。您(或使用者)可以在讀取數(shù)據(jù)時(shí)定義結(jié)構(gòu)，而不是在存儲(chǔ)數(shù)據(jù)時(shí)定義數(shù)據(jù)的結(jié)構(gòu) (檢查讀取模式)可以使授權(quán)使用者以他們喜歡的任何方式讀取數(shù)據(jù)。 雙贏。

您是否有不同的數(shù)據(jù)消費(fèi)者集合需要相同的數(shù)據(jù)集的不同形式?

并非組織中的每個(gè)人都希望以一種特定的形狀或切割形式使用數(shù)據(jù)。 一些消費(fèi)者需要與他們的部門需求保持一致的關(guān)系形式的干凈，結(jié)構(gòu)化和必要的數(shù)據(jù)，一些消費(fèi)者需要原始數(shù)據(jù)來運(yùn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)，一些消費(fèi)者將屬于受限類別并使用屏蔽數(shù)據(jù)。 在傳統(tǒng)平臺(tái)上解決這些要求變得麻煩(且昂貴)。

一旦將原始數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)湖中，就可以在數(shù)據(jù)中創(chuàng)建邏輯視圖，以便用戶以所需的形式使用數(shù)據(jù)。 您甚至可以創(chuàng)建流程以將結(jié)構(gòu)化形式的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉庫中，并應(yīng)用匿名規(guī)則將數(shù)據(jù)推送給外部使用者。

您了解數(shù)據(jù)湖的概念嗎?

關(guān)于數(shù)據(jù)湖有很多神話，在做出決定之前了解一些事實(shí)很重要。

• Data Lake是一個(gè)概念，而不是產(chǎn)品。 Data Lake不是Amazon S3或Azure Data Lake Storage或Hadoop，而是一種架構(gòu)，指導(dǎo)如何在對(duì)象存儲(chǔ)(如Amazon S3，ADLS，HDFS)或多個(gè)存儲(chǔ)組件中存儲(chǔ)和組織數(shù)據(jù)。
• Data Lake不能替代數(shù)據(jù)倉庫。 這是關(guān)于數(shù)據(jù)湖的最大困惑。 如此多，當(dāng)您使用Google術(shù)語"數(shù)據(jù)湖"時(shí)，您會(huì)發(fā)現(xiàn)大多數(shù)人將數(shù)據(jù)湖與數(shù)據(jù)倉庫進(jìn)行比較。 數(shù)據(jù)湖允許數(shù)據(jù)以其原始格式駐留，而數(shù)據(jù)倉庫是您存儲(chǔ)經(jīng)過處理，清理，結(jié)構(gòu)化和感興趣的數(shù)據(jù)的地方。 數(shù)據(jù)湖和數(shù)據(jù)倉庫是相輔相成的想法，不能相互替代。
• 數(shù)據(jù)湖需要治理。 您可以不經(jīng)任何處理就將原始格式的數(shù)據(jù)提取到數(shù)據(jù)湖中，但是一旦將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)湖中，就需要進(jìn)行適當(dāng)?shù)姆诸悾芾砗涂刂疲源_保只有授權(quán)的使用者才能跟蹤，識(shí)別和訪問數(shù)據(jù)。
• 數(shù)據(jù)湖不是一種通用架構(gòu)。 數(shù)據(jù)湖的設(shè)計(jì)因每個(gè)組織和用例而異。 一個(gè)組織可以決定建立多個(gè)數(shù)據(jù)湖，或者一個(gè)數(shù)據(jù)湖可以為多個(gè)組織服務(wù)。 無論哪種情況，都是根據(jù)業(yè)務(wù)策略，基礎(chǔ)架構(gòu)，技術(shù)選擇和人員技能來做出特定的設(shè)計(jì)決策。

最后…

數(shù)據(jù)湖確實(shí)具有巨大的優(yōu)勢(shì)，對(duì)于許多熱衷于制定數(shù)據(jù)戰(zhàn)略的組織而言，它可能是一個(gè)有吸引力的提議。 您必須仔細(xì)檢查它是否可以解決您的業(yè)務(wù)問題，是否與組織中的其他技術(shù)平臺(tái)很好地集成以及是否真正為業(yè)務(wù)創(chuàng)造了價(jià)值。 做出良好的設(shè)計(jì)決策并確保在整個(gè)組織中建立數(shù)據(jù)治理規(guī)則以使用數(shù)據(jù)湖至關(guān)重要。 最重要的是，只有那些人才能成功實(shí)現(xiàn)這一目標(biāo)，您將必須支持和發(fā)展正確的技能，并鼓勵(lì)采用數(shù)據(jù)驅(qū)動(dòng)的文化。