由51CTO舉辦的WOT”互聯(lián)網(wǎng)＋”時代大數(shù)據(jù)技術(shù)峰會上，來自上海市凱岸信息科技有限公司的麻袋理財***架構(gòu)師王天青做了以《麻袋理財大數(shù)據(jù)平臺及金融風險控制實踐案例分析》為主題的演講。本文章是把本次分享干貨亮點的整理成文字形式，呈獻廣大的用戶：

[[165951]]

今天很高興也很榮幸，能夠在這里跟大家分享一下。我們公司成立的時間也不長，我們在大數(shù)據(jù)方向上做了一些實踐，以及有一些簡單的案例，今天拿出來跟大家做一個拋磚引玉。

麻袋理財來自中信集團，主要是做互聯(lián)網(wǎng)消費金融，其實它連接了兩個P，一個P是借款人，另外一個P是出借人，有錢的人把錢借給缺錢的人，這中間有很大的學問。當然借款人也不一定是一個個人，也可能是一個企業(yè)。麻袋理財是我們線上理財?shù)钠脚_，CTCF是我們線下跟這些借款人打交道的公司。

簡單講一下行業(yè)背景。P2P大家已經(jīng)有所了解了，從2013年、2014年蠻荒時代，到今年已經(jīng)逐步走向正規(guī)的時候了?，F(xiàn)在人民銀行會同銀監(jiān)會、證監(jiān)會、保監(jiān)會等10部委聯(lián)合印發(fā)《關(guān)于促進互聯(lián)網(wǎng)金融健康發(fā)展的指導(dǎo)意見》。其中有四條很重要，***條是要鼓勵創(chuàng)新，第二要防范風險，第三條要趨利避害，第四條是健康發(fā)展。

互聯(lián)網(wǎng)金融起步也有一定時間，防范風險是各個公司的命根子。比如像銀行他們已經(jīng)有很長的基礎(chǔ)，有一定的品牌溢價。銀行因為有政府背書，但是萬一如果有一個互聯(lián)網(wǎng)金融的公司出現(xiàn)網(wǎng)站打不開，大家***個疑問就是是不是跑路了。

我們跟業(yè)務(wù)部門同事的討論，對行業(yè)的風險做了一個簡單的分類。***是信息安全，這跟傳統(tǒng)的信息安全基本是類似的。第二是運營風險，第三是欺詐風險，第四是信用風險。

從技術(shù)角度來看。***個是數(shù)據(jù)種類，我們是想獲得很多很多的數(shù)據(jù)，但是我們不是銀行，要跟他們合作拿到的數(shù)據(jù)是非常少的。第二我們也是試圖從各個渠道拿一些數(shù)據(jù)，但是這些數(shù)據(jù)之間的關(guān)聯(lián)度是比較小的。再一個從數(shù)據(jù)的特質(zhì)來講，每一類的數(shù)據(jù)價值密度比較低，因為它并不是一個真正意義上的真性數(shù)據(jù)、貼名單數(shù)據(jù)，必須要綜合利用。再一個是類型比較復(fù)雜，比如它有結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)庫的方式，也有半結(jié)構(gòu)化文本的方式。***在數(shù)據(jù)分析上，需要你有些時候做實時分析、實時判斷。

講到底我們說的大數(shù)據(jù)理念有三個V，一個是量非常大，第二是種類非常多，第三是速度很快，產(chǎn)生的數(shù)據(jù)量很大、很快。在大數(shù)據(jù)的生命周期里，***步我們要獲取更多的數(shù)據(jù)，這個數(shù)據(jù)可能是我們跟第三方合作拿到一部分數(shù)據(jù)，另一方面數(shù)據(jù)是用戶提供給我們。第二個我們要把這些數(shù)據(jù)都存儲起來，其實每一樣的數(shù)據(jù)都會有歷史版本的，包括用戶的基本信息，這些數(shù)據(jù)我們都需要存儲下來。第三個我們要利用數(shù)據(jù)挖掘算法，對這些數(shù)據(jù)做分析，矩列分析，關(guān)聯(lián)分析等等。第四是優(yōu)化，因為機器算法分析的結(jié)果并不一定有用，看看哪些東西是我們需要做調(diào)整的。***是產(chǎn)生價值。

麻袋理財有線上業(yè)務(wù)和線下業(yè)務(wù)，線上業(yè)務(wù)是在云上，線下業(yè)務(wù)是在IDC里面，我們用的這套虛擬化的平臺，當然現(xiàn)在也用了docker。核心的數(shù)據(jù)都在我們的IDC里面，云上有一些應(yīng)用訪問的數(shù)據(jù)，都會到云上，***同步到我們的IDC里面。

針對實時數(shù)據(jù)，我們利用了卡夫卡和斯巴克這兩個工具做這個工作。首先我們會收集所有的應(yīng)用狀態(tài)、性能。我們會把一些重要的關(guān)鍵數(shù)據(jù)，比如用戶登陸的時間、用戶提現(xiàn)的時間等做一個整理到卡夫卡這邊。我們也用ERP做全文檢索，***實際的數(shù)據(jù)都放在HDMS上。

我們在IDC里面部署了這個大數(shù)據(jù)的平臺，底下是HBFS，做一些交互性的數(shù)據(jù)。

數(shù)據(jù)分成外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，外部數(shù)據(jù)就是用戶提的賬單數(shù)據(jù)，還有一部分社交數(shù)據(jù)，還有一些征信數(shù)據(jù)，這些數(shù)據(jù)***匯總到HBFS里面。然后我們有內(nèi)部的系統(tǒng)，內(nèi)部系統(tǒng)包括信貸系統(tǒng)、賬務(wù)系統(tǒng)、催收系統(tǒng)，都會有自己的數(shù)據(jù)庫，這些數(shù)據(jù)定期的可以通過Saoop把數(shù)據(jù)同步到我們的HBFS里面。當然我們還會做一些數(shù)據(jù)的清洗和匯總。

***是有兩大應(yīng)用場景，***種是做傳統(tǒng)的DI，另一個是用Tez做一個報表的展現(xiàn)。上面我們做深度分析和挖掘，主要用一個SAS這個軟件，另外我們也用R/Python做，Python有一個數(shù)據(jù)挖掘的庫，我們會直接用它。***得到這個結(jié)果形成可以被應(yīng)用到業(yè)務(wù)系統(tǒng)的規(guī)則，來驅(qū)動業(yè)務(wù)系統(tǒng)的升級。這個大概是這么一個流程。HBFS承載了我們所有的數(shù)據(jù)，這個就是我們現(xiàn)在所說的實時分析和P處理、歷史分析，都能支持的一個平臺。

***所有做的事情是要解決三大哲學問題，你是誰，你來自什么地方，你要去哪里。

總之，風險控制是互聯(lián)網(wǎng)金融成敗的必要條件，它不是充分條件，是一個必要條件。在互聯(lián)網(wǎng)的背景下，數(shù)據(jù)呈現(xiàn)了多樣化、海量、需要實時處理，一旦損失或者風險發(fā)生，就為時已晚，你必須要在風險發(fā)生之前做出判斷。因此建立大數(shù)據(jù)平臺是互聯(lián)網(wǎng)金融必須的技術(shù)手段，用傳統(tǒng)的方式達不到這個效果。