如今，隨著云計算、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的快速發(fā)展，企業(yè)逐漸認識到，數(shù)據(jù)的價值，對數(shù)據(jù)的挖掘分析能力已經(jīng)成為企業(yè)的核心競爭力。對于互聯(lián)網(wǎng)企業(yè)，最有價值的數(shù)據(jù)都蘊藏在網(wǎng)站的日志中。從日志中，我們可以知道網(wǎng)站的訪問量，應(yīng)用的使用量、用戶的相關(guān)數(shù)據(jù)，使用偏好等關(guān)鍵信息，從而更好的改善服務(wù)質(zhì)量，更好的滿足用戶的需求。

但是隨著企業(yè)的用戶規(guī)模不斷擴大，以及數(shù)據(jù)量的爆炸式增長，日志的管理和分析變得越來越具有挑戰(zhàn)性。近日，51CTO記者采訪了【W(wǎng)OT2016互聯(lián)網(wǎng)運維與開發(fā)者峰會】特邀講師，又拍云CTO黃慧攀，就海量日志處理系統(tǒng)架構(gòu)進行探討。

黃慧攀是2010年加入又拍云，現(xiàn)任又拍云 CTO。他是 aLiLua Web 開發(fā)框架的作者，擁有 14 年互聯(lián)網(wǎng)從業(yè)經(jīng)驗，技術(shù)經(jīng)驗涵蓋范圍比較廣，早期以前端 Web 開發(fā)為主，后期逐步轉(zhuǎn)到底層研發(fā)方向，在高性能網(wǎng)絡(luò)服務(wù)、分布式存儲系統(tǒng)等方面有較深入的研究。隨著公司發(fā)展，團隊不斷擴大，相應(yīng)職責細分，目前主要做技術(shù)規(guī)劃和團隊建設(shè)的工作。

黃慧攀此次將會在WOT 2016互聯(lián)網(wǎng)運維與開發(fā)者峰會上帶來主題為《海量日志處理系統(tǒng)架構(gòu)》的演講。那么海量日志對于企業(yè)來說為何如此重要呢？黃慧攀認為，日志的可挖掘價值確實非常多，比如廣告領(lǐng)域可以通過日志回溯到某個具體的用戶對什么產(chǎn)品或服務(wù)感興趣，從而驅(qū)動給該用戶投放什么類型的廣告。這也是現(xiàn)在很熱門的大數(shù)據(jù)領(lǐng)域中很重要的一項。而日志對于又拍云來說，重點是在分析平臺整體性能，并在這些數(shù)據(jù)的基礎(chǔ)上做系統(tǒng)優(yōu)化。另外一個部分則是為給客戶提供便利而做的統(tǒng)計分析工作。

那么在信息爆炸的時代，處理海量日志的挑戰(zhàn)又有哪些呢？海量日志的日志數(shù)據(jù)量非常大，大到單臺服務(wù)器無法存儲和處理的量級。目前，又拍云現(xiàn)在每天收集到的訪問日志就超過4TB的壓縮數(shù)據(jù)，如果解壓出來高達120TB文本數(shù)據(jù)。黃慧攀表示，處理如此龐大的數(shù)據(jù)量確實面臨很多挑戰(zhàn)，光收集存儲這些原始日志都會成為問題，后續(xù)的處理和統(tǒng)計的難度就更大了。

現(xiàn)在，業(yè)界在處理海量日志采用比較流行的Hadoop或Spark等分布式計算系統(tǒng)，這樣的開源技術(shù)無需考慮系統(tǒng)架構(gòu)。黃慧攀強調(diào)，如果要針對特定的業(yè)務(wù)場景，企業(yè)自己研發(fā)日志處理系統(tǒng)則需要一定的經(jīng)驗，比如如何規(guī)范數(shù)據(jù)，如何做數(shù)據(jù)分布處理和匯總數(shù)據(jù)等等。

雖然Hadoop和Spark都是業(yè)界比較流行的開源技術(shù)，但是面向特定的業(yè)務(wù)場景很難做到盡善盡美。為此，又拍云獨辟蹊徑，開發(fā)了海量日志處理系統(tǒng)，來解決日處理TB級的壓縮日志數(shù)據(jù)的方法。至于使用了哪些技術(shù)，黃慧攀則賣起了關(guān)子，感興趣的用戶可以關(guān)注在WOT 2016互聯(lián)網(wǎng)運維與開發(fā)者峰會第二天上午的 【大數(shù)據(jù)與運維】專場中黃慧攀的有趣分享。