為什么我們說海量數據處理技術會火
大數據處理技術正在改變目前計算機的運行模式。我們已經從中獲得了大量收益，因為正是大數據處理技術給我們帶來了搜索引擎Google。然而故事才剛剛開始，基于以下幾個原因，我們說大數據處理技術正在改變著這個世界：
它能處理幾乎各種類型的海量數據，無論是微博、文章、電子郵件、文檔、音頻、視頻，還是其它形態的數據。
它工作的速度非常快速：實際上幾乎實時。
它具有普及性：因為它所用的都是最普通低成本的硬件
大數據為以下這些公司提供了解決方案：eBay、Facebook、LinkedIn、Netflix、Twitter以及Zynga。
事實上大數據處理并非一項新的技術，它僅僅是小部分技術的一個術語簡稱。其中的某些技術已經與我們生活了數度春秋，然而時間推移到2012年，其中更小的部分技術就讓大數據一下子火了起來。
目前大數據市場已經達到700億美元規模并以每年15%的速度增長
數據存儲巨頭EMC的CEO Pat Gelsinger最近透露，大數據處理目前的市場規模已達700億美元并且正以每年15-20%的速度增長。幾乎所有主要的大科技公司都對大數據感興趣，對該領域的產品及服務進行了大量投入。其中包括了IBM、Oracel、EMC、HP、Dell、SGI、日立、Yahoo等，而且這個列表還在繼續。
眼見著這些財大氣粗的大公司動作頻繁，VC們也沒閑著，因為該領域將是他們未來的搖錢樹。他們正尋找大數據領域可靠的創業企業進行投資，創新孵化機構Accel就于去年11月建立了1億美元的“大數據”基金，同樣，IA Ventures也于之前的一個月建立同樣的基金。
大數據領域正吸引大量的人才進入
所有關于大數據的東西都在于“大”：潛在市場大、該領域的企業大，就算是那些剛剛進入該領域進行創業的小團隊，他們拿到的投資額也大。因此，如果看到大量硅谷工程師牛人進入該領域的情形，我們不會感到意外。來自Google、Facebook以及Yahoo的工程師，正排隊進入像Cloudera、Hortonworks以及MapR這樣的大數據領域創業公司。
廉價技術使大數據變成可能
大數據處理之所以發生是因為存在這樣的需求：
◆ 云技術給了人們廉價獲取巨量計算和存儲的能力。你不必去買一個大型機或者一個數據處理中心，只需為你使用的部分付費。
◆ 社交媒體意味著每個人都在創造有趣的數據也消費這些數據。
◆ 擁有GPS定位系統的智能手機正提供人們日常生活中新的見解。
◆ 寬帶連接的普及使得人們時刻保持在線狀態
任務分解，大數據技術由四種技術構成
我們前面提到大數據技術是很多種技術的某種集合，它們包括：
◆ 分析技術
◆ 存儲數據庫
◆ NoSQL數據庫
◆ 分布式計算技術
分析技術意味著對海量數據進行分析以實時得出答案
人們會思考運用云技術我們能做什么?IBM副總裁兼云計算CTO Lauren States解釋說，運用大數據與分析技術，我們希望能獲得一種洞察力。她提供了一個澳大利亞網球公開賽的一個案例。當時組委會在IBM的云平臺上建立了一個叫Slam Tracker的分析引擎，Slam Tracker收集了最近5年比賽的近3900萬份統計數據。通過這些數據分析出了運動員們在獲勝時的一些表現模式。
存儲數據庫(In-Memory Databases)讓信息快速流通
大數據分析經常會用到存儲數據庫來快速處理大量記錄的數據流通。比方說，它可以對某個全國性的連鎖店某天的銷售記錄進行分析，得出某些特征進而根據某種規則及時為消費者提供獎勵回饋。
NoSQL數據庫是一種建立在云平臺的新型數據處理模式
NoSQL在很多情況下又叫做云數據庫。由于其處理數據的模式完全是分布于各種低成本服務器和存儲磁盤，因此它可以幫助網頁和各種交互性應用快速處理過程中的海量數據。它為Zynga、AOL、Cisco以及其它一些企業提供網頁應用支持。正常的數據庫需要將數據進行歸類組織，類似于姓名和帳號這些數據需要進行結構化和標簽化。但是NoSQL數據庫則完全不關心這些，它能處理各種類型的文檔。
在處理海量數據同時請求時，它也不會有任何問題。比方說，如果有1000萬人同時登錄某個Zynga游戲，它會將這些數據分布于全世界的服務器并通過它們來進行數據處理，結果與1萬人同時在線沒什么兩樣。
NoSQL來自于大小不一的玩家
現今有多種不同類型的NoSQL模式。商業化的模式如Couchbase、10gen的mongoDB以及Oracle的NoSQL;開源免費的模式如CouchDB和Cassandra;還有亞馬遜最新推出的NoSQL云服務。
分布式計算結合了NoSQL與實時分析技術
如果想要同時處理實時分析與NoSQL數據功能，那么你就需要分布式計算技術。分布式技術結合了一系列技術，可以對海量數據進行實時分析。更重要的是，它所使用的硬件非常便宜，因而讓這種技術的普及變成可能。
SGI的Sunny Sundstrom解釋說，通過對那些看起來沒什么關聯和組織的數據進行分析，我們可以獲得很多有價值的結果。比如說可以分發現一些新的模式或者新的行為。運用分布式計算技術，銀行可以從消費者的一些消費行為和模式中識別網上交易的欺詐行為。
分布式計算技術讓不可能變成可能
分布式計算技術正引領著將不可能變為可能。Skybox Imaging就是一個很好的例子。這家公司通過對衛星圖片的分析得出一些實時結果，比如說某個城市有多少可用停車空間，或者某個港口目前有多少船只。它們將這些實時結果賣給需要的客戶。沒有這個技術，要想快速便宜的分析這么大量衛星圖片數據將是不可能的。
分布式計算技術是Google的核心，也是Yahoo的基礎
目前分布式計算技術是基于Google創建的技術，但是卻最新由Yahoo所建立。Google總共發表了兩篇論文，2004年發表的叫做MapReduce的論文介紹了如何在多計算機之間進行數據處理;另一篇于2003年發表，主要是關于如何在多服務器上存儲數據。
來自于Yahoo的工程師Doug Cutting在讀了這兩篇論文后建立了分布式計算平臺，以他兒子的玩具大象命名。如今Cutting已經離開Yahoo，加入了最大的分布式系統創業公司Cloudera。其它一些創業企業包括MapR以及Yahoo自己的Hortonworks。但是所有最大的IT供應商都提供這個技術，它們或者以產品的形式，或者基于其云計算平臺。
該技術經常是免費的，但是咨詢費則相當昂貴
大多數大數據技術都是開放項目并且免費，通過提供服務來盈利。很多有需求的IT企業不了解如何建立這方面的應用，也沒有這個必要。主流的IT公司都在建立這方面的產品和服務，以幫助企業充分利用分布式技術的強大優勢。其中包括了很多正在崛起的初創企業。我們可以相信，未來類似Google這樣的企業將更多來自于這些創業企業。
原文：http://www.36kr.com/p/85415.html
【編輯推薦】
