大數據:價值在于分析 風險如何規避？
大數據時代的來臨已經毋庸置疑。數據，不僅是企業的生命線，而且掌控著我們日常生活的脈搏；大數據，則更多描述的是一種趨勢，一種數據量猛增、來源各異、獲取速度加快、價值更高的趨勢。
如何有效地利用這些數據，通過分析獲取其中的價值，這是擺在我們面前的一個難題，也是近日在北京舉行的大數據世界論壇上眾多與會者關注的焦點話題。
來自EMC中國研發中心的首席技術官陶波在大會期間接受了ZDNet記者采訪，暢談了他對大數據給基礎架構帶來的變革、云計算與大數據的整合以及數據分析的看法。
變革還是前瞻？
EMC中國研發中心首席技術官陶波，負責云計算項目研發。在加入EMC之前，他曾在谷歌中國工作，負責管理谷歌北京研發團隊和諸如視頻、Youtube等產品的研發
根據IDC最新數字宇宙研究報告，2011年數據信息量將超過1.8ZB，需要管理的數據量將增長50倍，到2012年大量數據將會以文件的形式存儲……這給我們提出了如何管理如此海量數據的巨大難題。
最近IBM對全球CIO調查得出的結論從一個側面印證了利用和管理大數據的重要性：“從企業界搜集的大量數據中獲得的啟示，并將這些啟示轉化為具有實際商業利益的競爭優勢，對當今公共和私有部門機構來說至關重要。”
大量數據需要具有高擴展性的存儲空間、讓科學家和分析師們協同工作的管理平臺以及執行決策的工具。于是存儲廠商們開始意識到，大數據正在改變著數據存儲。Gartner稱大數據“既是一項破壞力，也是一個已經影響到傳統認識和業務模式的緊迫問題。它打亂了現行趨勢，同時也代表了公共部門、業務和IT 領導者們無法忽略的巨大機會。”
陶波認為，與傳統數據倉庫不同的是，大數據涉及的量更大，而且包括大量文本等非結構化數據的處理。在數據分析方面，傳統數據庫只能簡單地將所有數據處理一遍得出結論，這在數據增長如此迅猛的當下顯示是不現實的，而大數據可以對過去的數據進行匯總和抽樣，通過對一小段時間內的新數據分析得到相對精確的結論，現在大多數企業都不具備這樣的能力。
陶波強調說：“新技術進入企業IT中必然會帶來一定的沖擊，因此對于已經具備一些數據分析能力的公司來說，存儲系統雖然不需要完全重建，但不可避免地要做出一些改變，例如增加橫向擴展存儲，甚至BI軟件都要發生深刻的變化。”
過去十幾年中我們看到更多的是縱向擴展應用，而互聯網領域的很多應用都是橫向擴展，例如谷歌的集群計算系統可以管理分布在世界各個地方的上百萬臺服務器。
Isilon是EMC在橫向擴展NAS方面的一個武器，它有144個節點和15 PB容量，能夠整合應用與工作流。Isilon的核心是OneFS橫向擴展操作系統，它是單卷容量達到15PB的單一文件系統，原始存儲利用率達到80%，減小了瓶頸的發生。
如何通過分析獲取價值？
陶波認為，大數據分析需要具備四個條件：首先是數據科學家，這將成為未來最熱門的行業之一；創新，需要不斷提出關鍵性以及具有啟示性的問題；由大數據分析師們組成的社區，協同地對數據進行分析，共享分析結果；大數據產品堆棧，為大數據分析提供基礎支撐。
技術聚合使得大數據分析得以實現，虛擬化已經成為云計算的代表，x86的計算性能不斷提高。大量數據被存儲和處理，云計算成為大數據分析得以成為現實的重要支撐
早些時候，EMC收購了小型軟件生產商Greenplum，獲得了后者可以用于橫向擴展和加速數據倉庫以及業務分析應用的軟件，EMC將其打造成為一個業務分析引擎，用于處理來自在線以及傳統數據庫來源的大型數據集，圍繞Greenplum創建了EMC Hadoop和Greenplum數據庫等產品，與Oracle以及Teradata已有的加速業務分析平臺相競爭。
解析大數據對于新型業務分析應用存儲所帶來的影響，首先要區分傳統數據倉庫多個流程，例如，標準的提取、轉換以及加載流程對于傳統數據倉庫應用來說很常見，但達不到足夠的可擴展性和高速度。一款整合了服務器、存儲和網絡的專用設備給出了答案——Greenplum HD數據計算一體機無縫集成了結構化與非結構化數據，是Greenplum Database與Apache Hadoop的強強聯合，而Hadoop則是應對非結構化數據實時處理的一個關鍵手段，它使得互聯網企業專門為自己業務設計的一些程序和管理軟件、計算和分析方式滲透到企業中。
Greenplum Chorus是EMC的一款企業數據云平臺，堆棧了各種大數據分析工具(業務分析、BI、統計等)。陶波表示，Greenplum Chorus可以做到自助式的調配、數據服務協作分析。用戶同時部署Chorus、VMware和Greenplum數據庫來創建一個自助式的分析基礎架構，自助服務可以生成一個服務器或者一個沙箱，而這個沙箱既可以基于虛擬化的IT云計算平臺上，也可以是在Greenplum的數據庫之上的。同時，用戶可以把在企業云里面其他的原數據導入到自己的沙箱中進行操作，開發者可以創造一個合作環境，在分享數據的同時控制授權，避免私人數據被不適當的使用。
機遇還是挑戰？
大數據很復雜，因為它的來源很復雜，從結構化數據到非結構化數據；大數據很復雜，因為它交付和使用的速度，例如實時；大數據很復雜，因為我們生成的信息量是驚人的。以前，我們的家用存儲容量用MB和GB為單位，現在已經是TB，企業級更是用到了PB。
大數據的復雜性也帶來了一系列挑戰。其中之一就是如何理解和利用非結構化形式的大數據，例如文本或者視頻。另一個挑戰是如何獲取最重要的數據，并將其實時地交付給合適的人群。第三個挑戰是我們如何保存這些數據，當然還有隱私性和安全性等諸多難題。
陶波舉例說，HDFS的代碼進行改進加強安全性，如果大數據分析是在企業內部進行，但是在大量數據交給別人的時候，數據安全和隱私都是需要特別關注的。未來如果做“分析即服務”時為防火墻外提供服務的時候，對安全性的要求就更加高了。
服務提供商還需要在云計算平臺上搭建大數據分析服務，所以對云計算會有比較大的改變。對于非結構化數據處理并不理想的BI公司來說也都需要有所改變，如果不具備應對大數據帶來沖擊的能力，那么將喪失的不僅僅是機遇。
麥肯錫曾經稱大數據“是創新、競爭和生產力的下一個前沿領域”。我們可以利用大數據回答以前我們無法涉及領域的問題，可以從中獲取知識和見解，定位趨勢并利用這些數據來提高生產力，贏得競爭優勢。
與潛在機遇相比，大數據的挑戰是有限的，因為前者只受我們的創造力和能力的局限。相信在今年，我們將看到市場中將有更多針對分析應用的存儲設備涌現，存儲廠商必定不會錯過大數據這場盛宴。
【編輯推薦】
