[[176894]]

數據分析是一個大話題，借這篇筆記整理一下自己的思路：數據分析是什么?涉及到哪些技術?有哪些數據公司玩家?如何定位數據分析的價值?如果選擇數據分析作為自己的職業，需要掌握什么樣的基本概念?希望幫助對于數據分析有興趣的同學快速入門!

前言

數據的一面是銀彈(Silver Bullet)：無所不能，增長黑客(Growth Hacking)，決策分析(Decision Making);數據的另外一面是鏡子(Reflection)：可以看清楚很多茍且和遠方的田野。如何發現利用數據的價值，就是數據分析的目標。

數據分析的重要性可以分為兩點：

***是幫助核心業務(Business)成長，找到和驗證業務增長點

第二是有效的業務推動(Marketing)，提高推廣的效率(ROI)。

我把營銷(Marketing)作為獨立的數據分析角度，因為數字營銷極度依賴于數據分析，并且有一些通用的分析模型，它同時也是一個非常大的產業，它是各個軟件巨擘必爭之地。

最近十幾年，數據的收集和處理能力大大提升，越來越多的傳感器和數據收集，許多大公司的數據正在從TB級別走向PB級別。互聯網公司之間的模式競爭，也轉戰到對于數據價值的挖掘的能力上，很多時候也就是速度和效率的競爭。不要迷信數據，更不要忽視數據。很多時候，數據是你業務的指南針和護城河。

數據量快速增長，數據分析人才緊缺，數據分析工具依賴性，數據分析服務的強需求都反映了公司從粗放型到精細化的轉型。

1. 什么是數據分析(Data Analysis)?

為了理解數據分析，首先理解一下數據的概念。管理學家羅素·艾可夫在1989的《 “From Data to Wisdom”，Human SystemsManagement 》提出了DIKW體系體系，這是關于數據、信息、知識及智慧的一個模型，***詮釋了四者的關系。Data(數據)->Information(信息)->Knowledge(知識)->Wisdom(智慧)。

2. 數據分析的技術

數據分析在技術上定義：以發現有用信息，知識和洞察為目的，進行數據收集，處理，清晰，過濾，以支持決策制定。

行業里也有幾個相關的概念，常常會引起混淆，花點時間解釋一下：

商務智能(Business Intelligence): BI是在商業數據上進行價值挖掘的過程，BI的歷史很長，很多時候會特別指通過數據倉庫的技術，進行業務報表和分析的過程，分析通常利用數據的聚合(Aggregation)和分片(Slice)的能力。技術上BI包括ETL(數據轉換)，數據倉庫(Data Warehouse)，OLAP(聯機分析處理)，數據挖掘(Data Mining)。

數據挖掘(Data Mining)：數據挖掘是指在大量數據中自動搜索隱藏于其中的有著特殊關系性(屬于Association rule learning)的信息的過程。很多年前，它一直是一個熱門的研究生專業，直到信息檢索專業的出現。

聯機分析處理(OLAP)：其實是一個建立數據系統的方法，核心思想就是建立多維度的數據立方體，以維度(Dimension)和度量(Measure)為基本概念，輔以元數據，實現可以鉆取(Drill-down/up)、切片(Slice)、切塊(Dice)等靈活、系統、直觀的數據展現。

數據分析也是一種藝術(Art)，所謂藝術就是結合技術，想象力，經驗和意愿的綜合因素的平衡和融合。數據分析也是一個經驗和想象力的融合：它涉及到數學算法，統計分析，工具和軟件工程的一種結合，***的目的是解決業務的問題，幫助人從數據中獲得智慧。

下面列了幾個常用的分析技術范式：

1. 統計模型：利用統計模型處理數據的方法

2. 探索式(exploratory):不設定假設目標，自由發掘和探索

3. 穩定性(Stability of Results)：分析結果的穩定性評估，又是進行交叉驗證。

4. 假定驗證(HypothesisTesting):預先設定好結論，通過測試校驗結論

下面是涉及到算法，工程，統計等的相關技術，每一種細分技術都是一個大學問，好的數據科學家，可以游曳穿行其中，找到數據中有價值的洞察。

3. 數據從業者的職業名稱

從事數據的工作者，歷史上我見識過了不少名稱，包括“數據分析師”，“數據經理”，“運營分析師”，“軟件工程師”，“算法工程師”，“策略分析師”，“數據科學家” 等等。其中最酷的名字還是LinkedIn發明的“數據科學家(Data Scientist)”，這個名稱也被Forbes評為本世紀最”性感“的工作了。我估計，這是全世界最多的科學家團體了，小時候總覺得科學家必須白發蒼蒼才行的，現在很多同學剛畢業就是”數據科學家“，很讓人羨慕。

數據分析實際上是三個方面的融合，包括數據，工程和業務。數據是智慧的原礦石，工程是采礦機，業務是指北針，只有三個方面融合起來，才能最有效的發現數據的價值。我相信一個好的數據分析師必須有工程背景，必須對數據敏感，而且愿意主動解決業務問題。

4. 數據分析公司的生態圈

數據分析的的公司非常多，大大小小，林林總總。有小而美的硅谷創業公司，有老牌大公司的老樹新花。很多創業公司的市值一路飆升到無法接盤的狀態。例如，Palantir估值已經到了200億美元，但是最近可持續的收入卻不斷減少，引來不少麻煩。

我把數據分析公司分為三類:

***類是基礎服務提供者，主要提供一些軟件工具，Hadoop和Spark的生態公司，幫助數據基礎架構的建設，也包括一些數據可視化公司。

第二類是通用分析服務提供公司，包括Palantir，IBM的Watson Analytics，SAS, Google Analytics 等等，這類公司提供數據分析服務或者工具，利用專家背景，系統規模和數據資源，幫助解決客戶的問題，特別是很多老牌公司通過收購傳統數據分析公司，快速重新包裝成新的高大上產品。

第三類是專注行業的數據分析公司，例如生物信息，市場營銷分析等等。

5. 三種常見的業務分析模型：GrowthHacker，AARRR，LTV

看完了欣欣向榮的數據分析行業，是不是感到有些熱血沸騰。不過我們還是要回到現實的的，落地的數據分析任務。大部分互聯網公司，面臨的業務增長的壓力，都希望通過數據分析來提升競爭力。其中，有三種常見的業務運營增長模型。

1. 黑客文化的Growth Hacker

2. 經典的AARRR漏斗模型

3. 游戲中的LTV模型

1) 增長黑客(Growth Hacker)的數據和分析

GrowthHacking，它指的是一種用戶增長的方式，簡單說就是通過某些手段和策略幫幫助公司形成快速成長，通常是數據驅動的方法。對創業公司、特別是初創公司來說，在沒有廣告預算、市場營銷活動以及市場推廣專員的情況下，GrowthHacking 也可以獲得良好的效果。

2) AARRR模型

AARRR是Acquisition、Activation、Retention、Revenue、Refer，這個五個單詞的縮寫，分別對應這一款移動應用生命周期中的5個重要環節。每一個環節都有些關鍵指標，可以進行數據分析，找到提升的機會。

3) 生命周期價值(LTV)模型：

LTV是LifeTime Value，它是游戲行業用于衡量用戶價值的一種方式和模型。LTV是指在一定時間內，某一客戶可能為企業帶來的利潤額.顧客終身價值是指企業在獲得新顧客后的一段時間內，每一位顧客的平均利潤凈現值。由于游戲有很強的時間相關性，因此LTV會累計一段時間的數據。

6. 幾個有特點的數據分析工具

從公司類型上來說，數據分析公司簡單可以分為兩類：1傳統大型IT公司 2互聯網創新公司。很多傳統大公司都涌入數據分析行業，大多都是希望利用自己的客戶，硬件和軟件優勢，通過數據分析轉型成SaaS服務提供商，例如IBM，Oracle等。另外一個就是互聯網創新公司，大量數據科學家形成了大大小小數據分析創業公司，很多都聚焦在一個細分行業，其中包括Qualtrics，Mulesoft，Medallia等，超過80%的數據分析公司在美國的加州。

這里介紹幾個市面上的分析工具，對于浩瀚的數據分析市場來說，只是窺豹一斑，但是他們確實幾類數據分析公司的代表:老牌軟硬件公司，互聯網公司，手機生態公司。

1. Google Analytics Suite 360

2. IBM Watson Analytics

3. Apple App Analytics

4. MixPanel

1) GoogleAnalytics Suite 360

2016年3月15日，谷歌發布了全新的數據服務GoogleAnalytics 360 套件，為廣告主和互聯網公司提供更優秀的數據服務。相比之前的Google Analytics，整個產品線有了極大的豐富，包括6大產品，覆蓋埋點，分析，可視化，定向，轉化，歸因等方面，全方面貼近廣告主的需求。

數據是廣告主的核心利益的護城河和運行效率指南針，數據一定要靠譜，全面。Google的數據服務套件升級，可以幫助廣告主更加高效的投放。特別是GoogleAudience 360(DMP)的加入，看來谷歌也越來越重視“以人為本”營銷。Facebook對廣告主提供了優秀的數據服務(社交數據，按效果優化計費等)，Google也感受到了壓力，提升數據服務也是順勢而為之。

詳細內容參考文章《谷歌推出Google Analytics 360套件：為廣告主而生的數據服務》

2) IBM Watson Analytics

IBM收購了多家BI技術公司后，而后結合鼎鼎大名的Watson，在2014年推出了IBM Watson Analytics。有IBM朋友介紹，這是IBM最接地氣的軟件之一，可以自助注冊并且可以免費試用大部分功能。

它提供全方位的自助服務分析功能，包含數據細化和倉儲服務，以便他們更快捷地獲取和準備數據，從而進行分析和可視化處理。WatsonAnalytics還實現了諸如數據準備、預測性分析以及可視化分析等眾多步驟的自動化，確保營銷、銷售、運營、財務及人力資源等諸多數據密集型業務從業人員能夠快速、智能地獲取洞察。

WatsonAnalytics是基于Watson認知技術構建的一個創新云分析平臺，擁有自然語言認知查詢、預測性分析以及可視化分析能力，能讓商業人士跨越IT專業知識的障礙，獲取與數據分析師相同的由認知驅動的預測性和指導性分析能力。

3) AppleApp Analytics

蘋果于2015年的開發大會(2015,WWDC)上正式推出了Apple App Analytics提供如下功能：

· 查看用戶訪問App Store應用頁面的頻率

· 應用數據：啟動應用的數量，Crash，用戶停留時間

· 用戶ID系統：使用Apple ID，而不是設備ID

· 營銷分析：創建自定義、可追蹤的營銷鏈接，找出最多的引薦來源

很多運營指標和已有統計分析數據不同，導致各種數據

相較于其他統計服務者(Flurry, App Annie，GA等)，Apple App Analytics不需要開發者寫任何代碼，也不要求在應用里集成特定的SDK。當然，這對于支持的統計力度有一些限制，事實上到目前為止，App Analytics只能提供一些應用啟動數據，日活，留存，使用時長等基本數據而已。它的一個很大優勢是集成了App Store的各種數據，創建訪問App Store可跟蹤的鏈接等。

大部分時候，它也只是App開發工具的一個參考而已，而且Apple AppAnalytics的很多數據和其他的統計平臺的數據并不一致，開發者需要花很多時間理解其中的不一致。例如，Apple的UV是根據Apple ID統計的，大部分統計工具使用的是蘋果的設備ID，例如AAID等。

4) MixPanel

MixPanel是美國一個領先的一個移動數據分析公司，主要用于移動和PC的分析平臺，通過打點客戶端，將數據上報到服務器，進行留存，分組，漏斗，A/B測試等服務。另外，它也支持可視化打點功能，幫助運營人員靈活配置。它也把打點服務/數據分析服務從免費方式轉向收費增值服務的一個領先者。另外一些類似的數據服務公司，還包括專門做A/B測試的Optimizely，KISSMetrics和Leanplum等。

小結

數據分析從來就是一個熱門詞，像人工智能一樣，從來都吸引眼球;很多時候，數據也被濫用成了一把上方寶劍，誰不服就用數據砸誰。

實際上，數據告訴你的更多的是眼前的茍且，而我們需要思考的更多的是詩和遠方。數據分析可以給我們提供很多的數字，但卻無法代替的我們的思考:如何簡化問題?如何抽象和分解復雜?如何排除萬難?數據分析只會讓工作更加有意思和挑戰!

【本文為51CTO專欄作者“歐陽辰”的原創稿件，轉載請聯系作者本人獲取授權】