張韶峰：搜集了1.4億用戶偏好數(shù)據(jù)

    百分點科技COO張韶峰認為互聯(lián)網(wǎng)將IT技術(shù)擴展到全人類，大數(shù)據(jù)使得以IBM、Oracle為代表的IT技術(shù)企業(yè)和以Facebook為代表的web2.0互聯(lián)網(wǎng)應(yīng)用發(fā)生聯(lián)系。

    他表示，互聯(lián)網(wǎng)的興起，使得利用用戶在外網(wǎng)上的行為來推薦電子商務(wù)企業(yè)網(wǎng)上的商品成為可能。百分點就是通過“場景引擎”來計算用戶的心理，“規(guī)則引擎”融合專家的建議，配以算法來給用戶推薦個性化的商品。

    張韶峰介紹，目前百分點云平臺匯集了250多家公司，約1.4億用戶的偏好數(shù)據(jù)。百分點通過與客戶分享用戶行為數(shù)據(jù)，打通顧客在多個網(wǎng)站的行為數(shù)據(jù)，形成顧客商業(yè)行為數(shù)據(jù)平臺，這樣在為用戶服務(wù)時，會利用這些積累的用戶全網(wǎng)行為偏好和規(guī)律為用戶推薦合適的商品。

    談到用戶識別，張韶峰表示目前百分點的技術(shù)主要是通過cookie 和合作客戶的用戶ID來識別用戶。而基于用戶行為的全網(wǎng)推薦必須解決不同網(wǎng)站對同一商品的不同分類描述，百分點通過建立自己的商品分類商品類目數(shù)，通過機器學(xué)習(xí)和人工校正來對商品進行匹配。

    張文浩：社交網(wǎng)絡(luò)數(shù)據(jù)是金礦

    獨到科技創(chuàng)始人張文浩認為社交網(wǎng)絡(luò)產(chǎn)生了海量用戶、實時和完整的數(shù)據(jù)，同時社交網(wǎng)絡(luò)也記錄的群體的情緒，通過深入挖掘這些數(shù)據(jù)來了解群體的智慧。

    他介紹了利用社交網(wǎng)絡(luò)數(shù)據(jù)來監(jiān)測天氣變化，這一看似無關(guān)的兩個概念。通過各個地區(qū)的“喊熱”人數(shù)來進行監(jiān)測，具體流程是通過界定關(guān)鍵詞種子，如“熱”、“口渴”等，在新浪微博里通過爬蟲找到包含種子詞的文本集合，然后結(jié)合語凈抽取規(guī)則、語法規(guī)則得到相關(guān)數(shù)據(jù)。通過文本數(shù)據(jù)轉(zhuǎn)換到天氣相關(guān)的數(shù)據(jù)。

    同時，張文浩指出，數(shù)據(jù)預(yù)測往往是事后諸葛，目前大部分數(shù)據(jù)挖掘是基于歷史數(shù)據(jù)做出預(yù)測，而不是對未來的預(yù)測，他認為社交網(wǎng)絡(luò)挖掘中機器對語言語境理解的不足，自然語言處理技術(shù)，情感分析算法的給挖掘帶來挑戰(zhàn)，此外社交網(wǎng)絡(luò)存在的大量的水軍和僵尸識別以及抽樣的準確性都對挖掘的準確性產(chǎn)生了影響。

    而對于微博的數(shù)據(jù)挖掘來說，也存在文本短，特征緯度低，文本口語化，符號多，水軍多等挑戰(zhàn)。“社交網(wǎng)絡(luò)數(shù)據(jù)是一座金礦，但是挖掘過程充滿挑戰(zhàn)。” 張文浩說。

    張夏天：流程管理平臺是數(shù)據(jù)挖掘的挑戰(zhàn)之一

    騰云天下數(shù)據(jù)挖掘總監(jiān)張夏天認為大數(shù)據(jù)不是新問題，50年代數(shù)據(jù)挖掘就已存在。隨著計算機和互聯(lián)網(wǎng)的出現(xiàn)，帶來了超大數(shù)據(jù)量、超高緯度的數(shù)據(jù)，數(shù)據(jù)挖掘碰到單臺計算機無法解決的超大數(shù)據(jù)量。

    張夏天指出大數(shù)據(jù)對算法和計算平臺的挑戰(zhàn)增大，維數(shù)災(zāi)難更加嚴重，計算開銷大增。

    他認為數(shù)據(jù)挖掘是一個很長的流程，是實驗性探索性的工作，需要不斷調(diào)整算法和參數(shù)，這就需要一個好的數(shù)據(jù)挖掘流程管理平臺來支持數(shù)據(jù)挖掘工作。

    對于怎么去駕馭大數(shù)據(jù)挖掘，張夏天認為，從數(shù)據(jù)層面來看，可以減少數(shù)據(jù)量，化大數(shù)據(jù)為小數(shù)據(jù)，找到和挖掘出合適的數(shù)據(jù)，通過抽樣的方式把數(shù)據(jù)分而治之也是解決大數(shù)據(jù)的一個不錯的方式。

    此外他分享數(shù)據(jù)挖掘經(jīng)驗認為Hadoop不是做多次迭代的好選擇。用64GB單機單線程跑機器學(xué)習(xí)，比有200多個節(jié)點的Hadoop集群耗費時間更少。

    屈偉：數(shù)據(jù)挖掘應(yīng)用廣泛

    紅麥軟件技術(shù)有限公司創(chuàng)始人屈偉認為數(shù)據(jù)挖掘存在廣泛應(yīng)用，他分享了幾種簡單的數(shù)據(jù)挖掘手段。

    首先是自動標簽技術(shù)，即通過TF-IDF算法給文章設(shè)置關(guān)鍵詞，區(qū)分關(guān)鍵詞的重要程度。TF-IDF算法發(fā)現(xiàn)越是重要的詞出現(xiàn)的頻率越低，TF-IDF算法給沒個詞賦予不同的權(quán)重，來區(qū)分關(guān)鍵詞。

    自動分類技術(shù)方面，GMAIL對垃圾郵件的過濾就是基于自動分類的。具體的實現(xiàn)手段是對不同類型的文章進行分詞，通過比較同一個詞在不同類別文章中的出現(xiàn)次數(shù)，計算出現(xiàn)概率，利用貝葉斯理論來計算每一個詞對類別的貢獻概率，進而進行判別。而聚類分析，則可以通過計算距離的來實現(xiàn)對復(fù)雜特征的聚類。

    在談到社會化推薦時，他認為這個看似很復(fù)雜的功能也可以通過簡單的方法來實現(xiàn)。比如用戶已經(jīng)看過10本書，推薦第11本，那么可以找出同時看過10本書的人，假如找到了50人，然后在看找到這50人都讀過的書進行推薦。

    在數(shù)據(jù)挖掘的應(yīng)用上，他表示數(shù)據(jù)挖掘口碑分析，產(chǎn)品評價，競品分析，微博潛在用戶，市場效果評估，品牌影響等方面進行應(yīng)用。（寧萌）