大數(shù)據(jù)對(duì)于商務(wù)人士來(lái)說(shuō)是讓人興奮的產(chǎn)物，許多的大數(shù)據(jù)殺手級(jí)應(yīng)用將不斷出現(xiàn)。對(duì)于存儲(chǔ)管理員來(lái)說(shuō)，存儲(chǔ)基礎(chǔ)設(shè)施將不斷增長(zhǎng)，這是毫無(wú)疑問(wèn)的。你一直都在所有客戶中收集終端用戶每毫秒的行為數(shù)據(jù)，想象一下如果你可以立即查看所有數(shù)據(jù)，不需要考慮數(shù)據(jù)監(jiān)管、數(shù)據(jù)管理、數(shù)據(jù)保護(hù)和其它所有相關(guān)的煩惱，你需要做的只是把你所有的數(shù)據(jù)放到一個(gè)相對(duì)廉價(jià)又具備擴(kuò)展性的Hadoop存儲(chǔ)中，這是多么令人期待的事！

大數(shù)據(jù)湖能夠滿足不斷增長(zhǎng)的數(shù)據(jù)需求，并為你的業(yè)務(wù)提供有價(jià)值的服務(wù)。通過(guò)將不同來(lái)源的數(shù)據(jù)集采集到一個(gè)集中平臺(tái)，使用容易擴(kuò)展的大數(shù)據(jù)方法提供多租戶的分析服務(wù)，還會(huì)創(chuàng)造許多新的數(shù)據(jù)挖掘機(jī)遇。數(shù)據(jù)湖的總潛力值隨著可用于分析的數(shù)據(jù)量增加。一個(gè)大數(shù)據(jù)和大數(shù)據(jù)湖的關(guān)鍵原則是你不需要提前建立主數(shù)據(jù)模型，非線性增長(zhǎng)是不會(huì)出現(xiàn)的。

企業(yè)數(shù)據(jù)湖或hub的概念最初是由Cloudera和Hortonworks這樣的大數(shù)據(jù)廠商提出的，表面上看，數(shù)據(jù)都是承載在基于可向外擴(kuò)展的HDFS廉價(jià)存儲(chǔ)硬件之上的。但你的數(shù)據(jù)量越大，你越可能需要各種不同種類的存儲(chǔ)。最終，所有的企業(yè)數(shù)據(jù)都可以被認(rèn)為是大數(shù)據(jù)，但并不是所有的企業(yè)數(shù)據(jù)都是適合存放在廉價(jià)的HDFS集群之上的。

所以，今天傳統(tǒng)的存儲(chǔ)廠商正在分析大數(shù)據(jù)湖的前景。從存儲(chǔ)市場(chǎng)的角度來(lái)看，數(shù)據(jù)湖就像另一個(gè)云計(jì)算一樣。“所有人都需要一個(gè)數(shù)據(jù)湖，你怎么能夠沒(méi)有一個(gè)（甚至兩個(gè)、三個(gè)）？”但企業(yè)使用存儲(chǔ)有多種選擇，可以采用支持HDFS和Hadoop虛擬化的企業(yè)級(jí)存儲(chǔ)，這種存儲(chǔ)可以將其它存儲(chǔ)協(xié)議轉(zhuǎn)換成HDFS。也可以采用可擴(kuò)展的軟件定義存儲(chǔ)。


數(shù)據(jù)湖的一部分價(jià)值是把不同種類的數(shù)據(jù)匯聚到一起，另一部分價(jià)值是不需要預(yù)定義的模型就能進(jìn)行數(shù)據(jù)分析。現(xiàn)在的大數(shù)據(jù)架構(gòu)是可擴(kuò)展的，并且可以為用戶提供越來(lái)越多的實(shí)時(shí)分析。在商業(yè)智能（BI）和數(shù)據(jù)倉(cāng)庫(kù)還沒(méi)有被淘汰的今天，大數(shù)據(jù)分析和大數(shù)據(jù)湖正在向更多類型的實(shí)時(shí)智能服務(wù)發(fā)展，這些實(shí)時(shí)的智能服務(wù)可以支持實(shí)時(shí)的決策制定。Hadoop和它的生態(tài)系統(tǒng)已經(jīng)度過(guò)了它們的理論研究階段，它們已經(jīng)可以為實(shí)際的應(yīng)用需求服務(wù)了。數(shù)據(jù)管理和數(shù)據(jù)分析的應(yīng)用程序已經(jīng)開(kāi)發(fā)得非常友好，高級(jí)的向外擴(kuò)展機(jī)器學(xué)習(xí)技術(shù)也已經(jīng)投入應(yīng)用并嵌入至只需要用鼠標(biāo)就能簡(jiǎn)單操作的大數(shù)據(jù)挖掘軟件中。然而，IT仍然需要對(duì)數(shù)據(jù)湖里的所有數(shù)據(jù)負(fù)責(zé)，所以在這里我們列舉了幾個(gè)企業(yè)數(shù)據(jù)湖的幾個(gè)關(guān)鍵特點(diǎn)：

保存一份集中的數(shù)據(jù)索引（或元數(shù)據(jù)），包括數(shù)據(jù)源、版本、精細(xì)度和準(zhǔn)確度。如果在這方面沒(méi)有自動(dòng)化的支持，一個(gè)數(shù)據(jù)湖會(huì)很快被沖垮。

對(duì)數(shù)據(jù)進(jìn)行安全的授權(quán)、審計(jì)和訪問(wèn)控制。Hadoop生態(tài)系統(tǒng)在數(shù)據(jù)安全性方面正在快速發(fā)展，因?yàn)檫@是企業(yè)的強(qiáng)制性需求。有許多新產(chǎn)品為大數(shù)據(jù)資產(chǎn)提供一定的安全性，也有許多產(chǎn)品致力于保護(hù)數(shù)據(jù)湖中的大量新數(shù)據(jù)、用戶和不斷增長(zhǎng)的資產(chǎn)價(jià)值。

對(duì)數(shù)據(jù)湖中的數(shù)據(jù)啟用監(jiān)管功能，并強(qiáng)制啟用保留（retention）和處置（disposition）策略（以及追蹤個(gè)人可識(shí)別信息）。***秀的產(chǎn)品（如Dataguise）會(huì)強(qiáng)制使用監(jiān)管和合規(guī)需求，無(wú)論數(shù)據(jù)湖中有多少數(shù)據(jù)或是什么類型的數(shù)據(jù)集。

為操作可用性和BC/DR需求確保一定規(guī)模的數(shù)據(jù)保護(hù)。遠(yuǎn)程復(fù)制是必要的嗎？已經(jīng)成為了一個(gè)關(guān)鍵業(yè)務(wù)運(yùn)營(yíng)平臺(tái)的數(shù)據(jù)湖里的大量實(shí)時(shí)數(shù)據(jù)流對(duì)遠(yuǎn)程復(fù)制來(lái)說(shuō)就是洪水猛獸。

使用多種大數(shù)據(jù)分析方法（不僅僅只是Hadoop）和工作流利用數(shù)據(jù)湖提供敏捷分析。在某種程度上，Hadoop和HDFS實(shí)際上是軟件定義存儲(chǔ)產(chǎn)品，它們具有數(shù)據(jù)感知功能，可以提供內(nèi)置的大數(shù)據(jù)分析服務(wù)。但也有其它產(chǎn)品也能提供很好的數(shù)據(jù)湖解決方案，如Spark和一些專有的OLAP或在線分析處理大數(shù)據(jù)分析平臺(tái)（如HP Haven等）。

我們?cè)诮裉斓钠髽I(yè)級(jí)存儲(chǔ)產(chǎn)品可以找到上面提到的這些功能，它們說(shuō)明了為什么許多廠商熱衷于數(shù)據(jù)湖領(lǐng)域，因?yàn)樵坪痛髷?shù)據(jù)會(huì)帶來(lái)很大的經(jīng)濟(jì)效益。注重質(zhì)量的企業(yè)級(jí)軟件定義存儲(chǔ)會(huì)成為這一領(lǐng)域的***。


數(shù)據(jù)湖真的是一個(gè)好的方案嗎？一個(gè)我們最開(kāi)始可能會(huì)問(wèn)的問(wèn)題就是我們是否真的需要把所有的數(shù)據(jù)都匯聚到一起？在一個(gè)地方建立整個(gè)企業(yè)的數(shù)據(jù)聚集點(diǎn)會(huì)帶來(lái)巨大的風(fēng)險(xiǎn)。另一個(gè)的問(wèn)題是數(shù)據(jù)湖真的是一個(gè)節(jié)約成本的解決方案嗎？特別是像Google、Facebook這種具有海量數(shù)據(jù)的公司。

數(shù)據(jù)湖的方案***是慢慢來(lái)實(shí)現(xiàn)，而不是大規(guī)模的重新設(shè)計(jì)整個(gè)數(shù)據(jù)中心。數(shù)據(jù)湖的價(jià)值取決于我們的數(shù)據(jù)，大規(guī)模的部署向外擴(kuò)展的共享架構(gòu)將使許多組織從數(shù)據(jù)湖（至少是數(shù)據(jù)池）中汲取養(yǎng)分。