你是如何被“大數據”洗腦的？
正文開始之前，請大家先看一個案例：
一家公司希望了解自家產品的用戶畫像，于是他們在產品包裝上印上自家小程序的二維碼，然后想辦法促使用戶去掃碼(比如掃碼查真偽、掃碼學習食用方法等)。一旦用戶掃描二維碼，公司就能從后臺了解他們的基本信息，比如下圖就是對用戶年齡分布的統計結果：
現在請問：哪個年齡段的人才是該產品的典型用戶?
對于這個問題，我一共聽到過三種答案。
- 第一種認為是30—39歲。如果你問他為什么，很顯然，因為那部分柱子最高...
- 第二種認為是25—29歲。因為雖然它高度只是第二，但它的年齡跨度只有5歲，僅僅是30—39歲跨度的一半。
- 第三種則認為18—29歲都是，道理跟第二條類似，不再多解釋。
那么，究竟哪種答案才更加正確呢?
我估計大部分人都會選第二種或者第三種吧?
最開始我也是這樣解讀的，認為該產品的典型用戶就是“年輕人”。(若按照國家統計局的標準，也就是15—34歲的人)
不過說實話，這個結論還真挺讓我驚訝。因為若根據我的常識來判斷的話，它的典型用戶應該是年紀稍大點的中年人才對。
該產品屬于健康食品，主打“排毒”“減肥”“降三高”“治便秘”“抗酸”的功效(你先別笑它賣點太多不夠聚焦，又不是走電視廣告的路子)，而這些功能屬性，除“減肥”以外，我相信不少人都會跟我一樣——若用常識來判斷，它們應該更偏向中年人。
然而，數據結果卻與常識判斷相互矛盾...這時候，你到底該相信數據還是相信常識呢?
這是我最近在一個項目中遇到的一個問題，這個問題也的確讓我糾結了一段時間。因為一方面有人說“數據是不會撒謊的”，而另一方面又有人說“做調研，常識才更加重要”...
不過，當我想起以前看到過的一段故事之后，問題就變得相對明朗了。
一、二戰故事
在二戰期間，盟軍的戰斗機在戰斗中損失慘重，于是盟軍總部秘密召集了一批物理學家、數學家來專門研究“如何減少空軍被擊落的概率”。
當時軍方統計了所有返航飛機的中彈位置，發現機翼部分中彈比較密集，而機身和機尾的中彈比較稀疏，因此當時普遍的建議便是：應加強機翼部分的防護。
然而，統計學家沃德卻提出了一個完全相反的觀點，他認為應加強機身和機尾部分。
沃德教授說「所有的樣本都是成功返航的飛機，也就是可能正是因為機翼遭到攻擊，機身和機尾沒有遭到密集的攻擊，所以才使得這些飛機能夠成功返航」
后來又經過一系列有力的論證后，軍方果真采用了他的建議。事后也證明這的確是無比正確的決策，有效降低了空軍被擊落的概率。
這個故事講的就是所謂的「幸存者偏差」(Survivorship bias)
幸存者偏差是指：當取得資訊的渠道僅來自于幸存者時，此資訊可能會存在與實際情況不同的偏差。(因為死人不會說話)
那它跟之前用戶畫像的例子有什么關系呢?
關系很大。
雖然數據是不會撒謊的，但它只能展示出有數據(幸存者)的那部分信息，而無法展示沒有數據(陣亡者)的那部分信息，它是片面的。
翻譯到之前那個案例：如果僅憑掃過碼的用戶數據來判斷產品的用戶特征，其實是忽略了那些使用了產品但沒有掃碼的用戶的數據。畢竟，不是所有用了產品的人都一定會掃碼。
而這里有很多可能的因素會影響結果，比如：
- 1)不同年齡段的人擁有不同的掃碼習慣——可能年輕人更愿意掃碼，而中、老年人大部分都沒有掃碼習慣。
- 2)掃碼的人不一定是產品的用戶——也許是年輕人買了該產品送給長輩，然后自己去掃了碼。
- 3)說服人們掃碼的文案也會有影響——假如你說“掃碼享優惠”，那最終掃碼的可能就更偏向于那些“精打細算”的用戶，而不是所有用戶。
總之，永遠不可能得到完整的數據樣本。
因此，回到文章最開始的問題——哪個年齡段的人才是該產品的典型用戶?
準確的答案應該是：無法僅通過該數據就得出結論。
是的，到目前為止，我依然更偏向于相信常識——認為中年人才是它的典型用戶。(估摸著至少也是30歲以上)
二、洞穴之喻
柏拉圖曾在《理想國》的第七篇中，講了一個著名的比喻——洞穴之喻(Allegory of the Cave)
設想有個很深的洞穴，洞里有一些囚徒，他們生來就被鎖鏈束縛在洞穴之中，他們背向洞口，頭不能轉動，眼睛只能看著洞壁。
在他們后面砌有一道矮墻，墻和洞口之間燃燒著一堆火，一些人舉著各種器物沿著墻往來走動，如同木偶戲的屏風。當人們扛著各種器具走過墻后的小道，火光便把那些器物的影像投射到面前的洞壁上。
由于這些影像是洞中囚徒們唯一能見的事物，他們便以為這些影像就是這個世界真實的事物。
在現實生活中，數據就像該比喻中印在壁洞上的影像——它試圖利用低維的事物，去給人們描繪一個高維的東西。如果將洞壁的影像進行數據化處理，哪怕技術再先進，收集的數據再多，都難以讓洞穴人感知到一個真實的世界，因為他們看到的世界都被“降維處理”了。
而另一方面，常識又是什么?
不可否認的是：常識跟數據一樣，都是片面的。并且每個人的常識都不盡相同，質量參差不齊。
不過這里想說的重點是：相比于數據，常識能從更多得多的角度去分析一個事物。
因為人類的大腦很奇妙，它能把很多看似無關的事物聯系在一起。而這一點，是任何計算機都很難以數據的形式做到的。
舉個最簡單的例子：人們可通過觀察“一根筷子折得斷，十根筷子折不斷”的現象，悟出一個與之毫不相關的道理——團結就是力量。而同一個現象如果交給計算機去處理，那最后的結果就肯定只能與“材料”“扭矩”和“力度”等相關...
再比如邁克·亞當斯曾做過的一項研究，他發現：美國大學生期中考試臨近時，奶奶去世的可能性是平時的10倍，而期末考試時是平時的19倍。(數據來自各高校收到的請假郵件和推遲交論文的申請)
若單看數據，你也許會認為學生的學術壓力會對奶奶的健康造成影響(的確有科學家對此做過研究...);但若用常識去思考，那就很簡單了——為躲避考試，學生們編造了“奶奶去世”的請假借口。
這就是常識與數據的區別——常識是多維的，數據是單維的。
三、數據不騙人，但它會坑人
數據真正的價值并不在于其統計或計算結果，而在于人們能對其做出正確的解讀。不過這很困難，尤其當你面對的是殘缺的數據。
就像我以前舉過的一個例子：
- 據《2017社會大學英雄榜》顯示，國內登上胡潤百富榜的2000多位資產超二十億的富豪中，有一半的人都是低學歷。(PS，低學歷是指本科以下的學歷)
請問：從這條新聞中你能讀出什么結論?
我想肯定有很多人會認為：學歷的高低跟收入的確沒什么關系。
然而，這種解讀是錯的。
正確的解讀方式是什么呢?
應該是：中國在2016年末大約有13.8億人口，其中本科及以上的只有3800萬，本科以下則有13.42億——低學歷的人本來就比高學歷的人多得多(35倍)，而它們進入榜單的人數基本相同。因此，擁有高學歷的人進入百富榜的概率，是低學歷的35倍。
在這個例子中，所有的數據都是真實的。但如果你只看到一部分數據，而沒有看到其他數據，那就很容易被數據給坑了，得出錯誤的結論。
當然，要想得出更加準確的結論，這里還需挖掘更多的數據。比如：
- 富豪們的年齡分布。畢竟不同年齡段人群的學歷分布是不一樣的;
- 所屬行業的分布。畢竟不同行業對學歷的要求與相關程度是不一樣的;
- 在這些富豪中，高學歷的收入與低學歷的收入的總體對比情況...
嗯，如果你不是專門學統計的，相信在加入這么多因素之后，一定會崩潰掉...不過你也不用慌，因為大部分情況下，你根本就沒有機會能知道這么詳盡的數據。
包括以數據著稱的新零售。為什么大部分新零售項目仍然在虧錢?其實就是因為它們的規模還沒有達到一定的量，數據的維度依然比較單一，“算”出來的東西依然不夠精準，所以效率的提升也就很有限了。
四、小結
文章讀到這里，你也許會在心里嘀咕：小云兄你寫這篇文章，是不是想告訴我們數據是沒有用的呢?如果數據的結果都不夠準確，那什么才是準確的呢?
首先，這里并不是說數據沒有用，即使它是片面的。
所謂的要客觀看問題，并不是指你一定要掌握了所有數據之后才能下定論，而是要在下定論之前，盡量多方面了解一些數據和信息，無論它們本身多片面。
多了解一點，犯錯的幾率就會小一點，多看到一面，你離客觀的真相就更接近一點，這就是進步。
千萬不要試圖一下子解決所有的問題，或者以為一下子就得到準確的答案，因為這本身就是一種錯誤的價值觀，或者說癡人說夢。(所以你也不用糾結“什么才是準確的”了，根本就不存在)
知道自己還有不知道的，并在問題中不斷前進，這才是真正科學發展的思想。
相反的，如果僅憑單方面數據就武斷得出結論，并且篤定得不行，那無論數據樣本有多大，你的結論和真實情況都很可能是天差地別的。
