[[153979]]

首先聲明，文章所有觀點不是什么定論，只是一家之言、個人觀點而已，不管是認同者還是不認同者歡迎理智交流。

緣起

之所以有這么一個話題，確實是有原因的。就在前幾天，我又收到了一個同行的郵件，是向我咨詢關于大數據方向的問題。

可能是我的博客–博客蟲|大數據博客的原因，可能是我錄制的一些大數據課程的原因，也可能是在這個圈子里話稍微的多一些。這半年多來，陸陸續續總有十幾個甚至于數十個相同話題的資訊郵件或者信息，無一例外：他們想涉足大數據這個領域，或者說已經涉足大數據這個領域，只是不知道下一步該如何進行，很是迷茫。

恰巧一個最近一個在亞信的老友，有意向跳槽，他這兩年來基本做都是大數據BI領域多一些，對于Hive之類的比較熟悉，只是不知道將來跳槽具體往哪個方向去。

于是我想，這么多人都在糾結自己到底該在大數據領域中如何前行，面對于大數據這個看起來很泛的概念，并且有愈演愈亂的趨勢，我們確實需要好好的理一理。

于是就有了這個話題。這個圈子到底是干嗎的，涉及的技術到底有哪些，我們到底該如何入手，該如何進一步提升自己。

對于個人來說，很慶幸一畢業就在這個圈子里偷摸打滾，雖然不能說懂多少，但還是很愿意把自己的一些觀點分享給大家，能幫的上忙當然是好的，幫不上忙純當個人的吐槽了。

理清大數據的脈絡

我們先來理一理大數據這個圈子的脈絡，再言其它。

先來確定一個問題：我們所說的大數據，研究其的核心價值在哪里？

是的，這是一個很奇怪問題，像是在幾年前，大數據這個詞突然就火了，然后就一直火，然后火的一塌糊涂。我們再來思考一下這個問題，在數據量未增長到一定規模，或者說大家還沒有意識到數據成長到了一定規模，又或者說相關技術支撐尚未成熟的時期，數據被人關注的并不是太多。

在大數據技術日漸成熟時候，特別是以hadoop生態為代表的技術圈日漸豐富，在數據規模日漸增長的今天，對于數據研究的人也越來越多。

于是，越來越多的人投身其中。我們需要先明白我們的目的：挖掘數據中的價值。這里所謂的挖掘并不是狹義上的數據挖掘的概念，而是包括了對于雜亂數據的整理以期發現其體現的業務現狀，通過對大批數據的統計分析達到對業務的調整以及決策，通過對大批量數據的潛在關系或者趨勢的挖掘實施相關個性化的策略等等。

說白了就兩個字，價值。不管是大的價值還是小的價值，我們需要從數據中獲利，這是我們的根本目標。也就是說，我們在大數據這個圈子里所干的一切，都是為了榨干數據潛藏的價值。

明白了核心價值所在，我們再來關注一下我們的研究實體–數據。

我們的數據從哪而來？我們的數據拿過來就可以用嗎？榨干數據的價值，用榨汁機榨嗎？數據到底該怎么處理？是的，我們要用到哪些技術？

圍繞怎么榨干數據這個問題，我們可以衍生出很多很多的問題，都是需要我們一一去解決的，這也就是為何很多人迷茫的直接原因。

雜亂無章，無從下手。這是很多新手或者說已經身陷其中的程序猿都面臨的一個問題。

不可否認的是我們的研究實體始終是數據，我們是圍繞它在轉的，確定了這一點，剩下的問題，我們一個一個的來理。

數據從何而來？

對于這個問題，答案還是比較多的。

在此之前，雖然很多企業公司對于數據，并沒有很大的研究，但是潛意識的把那些產生的數據都收集起來了，如今在有能力研究或者進一步處理的前提下，這就是一個不可估量的數據量。在傳統的數據收集方式上，主要以現成文件或者傳統數據庫的方式體現。

企業公司線上業務產生的業務log。這應該是最常見的一種數據來源，當前很大一部分同行處理的應該都是這種數據。這種數據的格式主要是按時間切分的log文件。

互聯網公開數據。這部分數據源有以下幾個特點：獲取難度高，數據比較雜亂。想要使用這一部分數據，其成本也是相對較高的。所以，就目前來說能夠使用這部分數據的企業還是比較少的，但在未來它必定是一個主流數據來源。

除此之外，隨著移動互聯網的發展，移動終端帶來的數據也越來越多，成為一種新型的數據來源。當然進一步延伸，包括了各種智能終端產生的數據。

數據拿來就能用嗎？

答案顯然是否定的，就連怎么拿數據都是一個大問題。這就不得不說到一些大數據領域數據收集相關的技術了，比如比較流行的Scribe以及Flume等，他們都是為解決多節點日志收集而產生的解決方案。我們通常產生的數據都是分散在各個不同節點上的，我們需要用到這些數據，進一步從數據中提取價值，前提是能統一收集到這些數據。而這些開源的日志收集系統解決了分散數據如何集中的痛點。

此外，對于存儲在關系型數據庫中的傳統數據，我們需要通過一定的轉換，讓其導入到我們的大數據處理平臺中，比如數據倉庫中等等。這就涉及到一些數據轉換的開源系統，比如sqoop之類的。

而對于互聯網上公共數據，這就涉及到各種網絡爬蟲、網頁解析相關的技術。

并且對于絕大部分數據來說，在獲取之后并不能直接使用，典型如各種業務數據，我們需要進一步提取其中我們所需要的信息。而對于爬取的互聯網數據，更是紛雜凌亂，我們需要進一步的進行篩選，進一步的清洗，最終拿到有用的基礎數據。

對于數據的清洗、預處理，大規模離線處理典型如MapReduce，內存處理典型如Spark Streming，數據流式處理典型如Storm等。

在數據傳遞的過程中，我們又涉及到了各種消息隊列；在整個數據平臺中，涉及到了分布式協調、分布式監控、任務調度等相關的知識。

不管在各個環節也好，或者說最終處理的數據也好，我們需要進行存儲，這就涉及到分布式存儲、非關系型數據庫、大規模數據倉庫等相關的技術。

榨取數據的價值！

在數據經過層層處理之后，終于到了我們的目的所在了。對于部分業務來說，在經過精提純的數據已經是可用的了，可以直接呈現了，這就直接體現了數據價值，不多說。

對于部分數據，我們需要進行進一步的統計分析，然后把握數據體現的業務趨勢、業務變化，這可以算是大數據BI的領域，也算是數據價值的體現。

而對于部分數據，不能直接使用，并且其數據直接體現的狀況對于我們并沒有太大的作用，這個時候我們需要進一步的挖掘其潛藏的價值。典型如個性化推薦，我們希望通過一定的數據模型，建立起現有數據與未來數據的關系，進一步實施我們個性化業務，提升商業利益。這也是一種數據價值的體現。

我們來梳理一下整個過程！

在最開始階段，我們進行初始數據的收集工作，根據不同的業務場景，可能會涉及到的一些技術領域：分散日志收集技術，諸如Scribe、Flume為代表的開源日志收集系統；數據消息傳遞相關的技術，各種開源的消息隊列MQ，諸如ActiveMQ、RocketMQ、Kafka等；各種爬蟲技術、網頁解析技術；數據庫數據轉換技術，如Apache的Sqoop等；

在數據處理階段，通常我們會有兩種不同的處理方式，一種是在數據落地之前，我們進行預處理，典型如Storm為代表的實時處理系統，還有近一兩年比較火的Spark Streming；還有一種就是落地之后進行的批量離線處理，如Hadoop的MapReduce，以及使用Spark進行處理。當然，對于數據的預處理，并不是說一定要用到什么框架，但是這個過程肯定是需要的，我們需要對數據進行進一步得過濾、規整操作。

然后是數據的落地，對于規整之后的數據，我們需要進行落地存儲，然后才能做進一步的處理。對于一般性的大規模存儲，目前有很多開源的分布式文件系統方案，典型如HDFS，但更多的是存入數據倉庫中，或者一些NoSQL中。其中以Hadoop生態中的Hive以及Hbase為代表。

然后在整個數據被規整到存儲落地的過程中，是一整套完整的數據處理流程，是一個完善的數據處理平臺，我們可能還會涉及到一些分布式的協調系統，典型如Zookeeper；還涉及到一些分布式平臺的監控，如Ganglia和Nagios的結合使用，以及Puppet、Zabbix等等相關技術。

然后接著就是數據的價值體現，對于部分業務來說，處理過的數據已經是可以直接使用了，例如通過數據倉庫的操作，直接對外展現；而部分數據則是需要對其進行統計分析，例如通過對Hive的各種操作，生產的各種BI報表，我們則可以從中找到現有數據的規律，進而完善我們的業務策略；而部分業務則希望現有的數據對未來數據能夠產生影響，所以引入了各種數據深度挖掘的東西，例如在大規模數據挖掘場景下的Mahout以及Spark的MLlib等；還有部分業務則是想把這些數據作為一個搜索數據源，那這個時候我們會對數據索引化的操作。

在如上的這些過程中，雖然在使用的技術上可能會有所出入，但是這個基本流程是不變的。通過這個梳理，我們知道在這個過程中，我們會涉及到哪些流程，然后才能說在大數據的這個圈子里，我們到底該往哪個方面發展。

定位自己的位置

如上所言，在大數據整個領域中，涉及的東西很多，需要掌握的處理問題的思路也很多。但我們的精力是有限的。

我很慶幸自己一畢業就投身其中。最早開始接觸是構建數據中心平臺，包括了一整套數據接入，實時處理以及離線處理的東西。在往后的工作中又陸續接觸到了大數據領域中數據倉庫以及數據大規模緩存相關的技術，逐漸補充我在大數據領域的空白，并且陸陸續續在NoSQL、搜索、網頁解析、爬蟲等方面也有所了解。而如今，一邊做著數據處理相關的工作，一邊依托于大規模的數據，在此基礎上進行數據潛在價值的挖掘，比如正在研究的推薦系統，熱度排名模型研究等等。

在整個體系中，其實也是可以分為兩類的，由于在這個圈子里大量使用了各種開源的平臺系統，因此對于平臺人員的需求量也是很大的，保證大規模集群以及平臺的正常運行，也是一個很有挑戰的事；然后就是純開發人員，需要考慮的東西就會更多一些。

對于初入這個領域的人來說，首先需要確定自己的興趣所在，然后結合如上所說的脈絡，找到自己的切入點，想一下子都整明白是不可能的，找準自己的興趣點，然后逐漸完善自己對大數據的認知體系。