網(wǎng)管數(shù)據(jù)庫(kù)10年變遷:從文件存儲(chǔ)到RealDB
【51CTO.com 綜合報(bào)道】網(wǎng)管軟件離不開(kāi)數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)既是網(wǎng)管軟件的重要組成部分,又是決定網(wǎng)管軟件性能的重要因素,一款好的網(wǎng)管軟件一定有一個(gè)與之相匹配的合適的數(shù)據(jù)庫(kù)。一些網(wǎng)管軟件廠商為了優(yōu)化和提高網(wǎng)管軟件的性能,自己來(lái)開(kāi)發(fā)專用的數(shù)據(jù)庫(kù),比如MXsoft(美信)公司的CreCloud云網(wǎng)管就是自己開(kāi)發(fā)的分布式專用實(shí)時(shí)數(shù)據(jù)庫(kù)。所以,要談網(wǎng)管軟件的歷史和創(chuàng)新,就離不開(kāi)所使用的數(shù)據(jù)庫(kù)的歷史和創(chuàng)新。讓我們來(lái)看看,國(guó)內(nèi)網(wǎng)管數(shù)據(jù)庫(kù)在過(guò)去的10年中經(jīng)歷了哪些變遷和創(chuàng)新。
***代數(shù)據(jù)存儲(chǔ)方法:文件存儲(chǔ)
10年前,也就是2000年,美國(guó)有一個(gè)做服務(wù)器監(jiān)測(cè)的公司叫Freshwater,這個(gè)公司使用文件格式來(lái)存儲(chǔ)數(shù)據(jù),這種方法簡(jiǎn)單靈活,所以被引進(jìn)國(guó)內(nèi)成為了國(guó)內(nèi)網(wǎng)管軟件使用的***代數(shù)據(jù)存儲(chǔ)方法。不過(guò)大家很快就發(fā)現(xiàn),這種文件格式存儲(chǔ)數(shù)據(jù)的方法有諸多不足:比如當(dāng)數(shù)據(jù)量稍大時(shí),數(shù)據(jù)存取的效率就會(huì)大幅下降;當(dāng)歷史數(shù)據(jù)增多時(shí),生成報(bào)表的速度非常慢;性能不夠穩(wěn)定,數(shù)據(jù)很容易丟失或者損壞。既然這種文件存儲(chǔ)的方法有這么多缺點(diǎn),又為什么會(huì)被采用呢?
MXsoft(美信)公司的技術(shù)總監(jiān)陳新剛給了我們解釋,由于當(dāng)時(shí)網(wǎng)管技術(shù)在中國(guó)剛起步,大家的注意力和重心集中在數(shù)據(jù)采集方面,數(shù)據(jù)存儲(chǔ)還沒(méi)有引起足夠多的重視。當(dāng)時(shí)大家認(rèn)為數(shù)據(jù)采集回來(lái),只要有地方放就可以了。當(dāng)產(chǎn)品在用戶處部署,數(shù)據(jù)量逐漸增加時(shí),文件存儲(chǔ)的問(wèn)題才一一暴露出來(lái)。這種文件格式存儲(chǔ)數(shù)據(jù)的方法很快被淘汰,大家努力尋找更加穩(wěn)定可靠的新的數(shù)據(jù)存儲(chǔ)方法。
第二代數(shù)據(jù)存儲(chǔ)方法:通用數(shù)據(jù)庫(kù)
網(wǎng)管軟件采用通用數(shù)據(jù)庫(kù)來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ),首先被采用的MySQL數(shù)據(jù)庫(kù)。MySQL作為開(kāi)源數(shù)據(jù)庫(kù)的代表,開(kāi)發(fā)和部署成本都非常低,所以首先被大家采用,即使到現(xiàn)在,依然有許多的網(wǎng)管軟件后臺(tái)使用MySQL數(shù)據(jù)庫(kù)。用MySQL存儲(chǔ)數(shù)據(jù)比起文件格式來(lái),性能和可靠性都大大提升了。然而過(guò)了一段時(shí)間以后,大家發(fā)現(xiàn)對(duì)于大數(shù)據(jù)量的存儲(chǔ),MySQL效率依然比較低,而且穩(wěn)定性比起商業(yè)數(shù)據(jù)庫(kù)來(lái)要弱一些。
于是大家又開(kāi)始嘗試使用商業(yè)數(shù)據(jù)庫(kù)來(lái)進(jìn)行網(wǎng)管數(shù)據(jù)存儲(chǔ),用的最多的就是SQL Server和Oracle。這兩種商業(yè)數(shù)據(jù)庫(kù)各有優(yōu)劣,在Windows平臺(tái)下,SQL Server部署方便,成本也較低;Oracle則是許多大型企業(yè)和重要應(yīng)用的***選擇,這些企業(yè)自然也希望網(wǎng)管軟件的數(shù)據(jù)能夠存儲(chǔ)到Oracle中。
不過(guò)最終大家發(fā)現(xiàn),這兩種數(shù)據(jù)庫(kù)在面對(duì)大型IT基礎(chǔ)架構(gòu)的海量網(wǎng)管數(shù)據(jù)存儲(chǔ)時(shí),依然速度不夠快、效率不夠高。比如,在某大型運(yùn)營(yíng)商的網(wǎng)管項(xiàng)目中,需要監(jiān)控的服務(wù)器、網(wǎng)絡(luò)設(shè)備和應(yīng)用一共有200多個(gè)。該項(xiàng)目使用了Oracle數(shù)據(jù)庫(kù)來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ),最初的性能表現(xiàn)還是不錯(cuò)的,然而當(dāng)網(wǎng)管軟件運(yùn)行2個(gè)月以后,軟件的界面響應(yīng)時(shí)間和報(bào)表生成效率就開(kāi)始逐漸下降,后來(lái)網(wǎng)管軟件的平均頁(yè)面響應(yīng)時(shí)間超過(guò)了8秒,這大大的超出了人們的等待極限。
就這一問(wèn)題,MXsoft(美信)公司CTO陳新剛就多年的開(kāi)發(fā)和用戶溝通經(jīng)驗(yàn)告訴我們,當(dāng)人們坐在電腦前面,點(diǎn)擊一個(gè)軟件或者應(yīng)用的頁(yè)面時(shí),對(duì)頁(yè)面彈出時(shí)間的感受程度如下:
◆0-3秒,滿意
◆3-5秒,一般,但可以接受
◆5-8秒,差,不愿意接受
◆8秒以上,非常差,無(wú)法接受
網(wǎng)管廠商們想通過(guò)商業(yè)數(shù)據(jù)庫(kù)來(lái)解決網(wǎng)管軟件在監(jiān)控大型項(xiàng)目時(shí),海量數(shù)據(jù)的存儲(chǔ)效率問(wèn)題沒(méi)有成功,這時(shí)一些做高端客戶的、富于創(chuàng)新的企業(yè)開(kāi)始嘗試自己開(kāi)發(fā)數(shù)據(jù)庫(kù),MXsoft就是其中的杰出代表。
第三代數(shù)據(jù)存儲(chǔ)方法:專用數(shù)據(jù)庫(kù)
MXsoft開(kāi)發(fā)成功的數(shù)據(jù)庫(kù)名字叫RealDB,即實(shí)時(shí)數(shù)據(jù)庫(kù),究竟這種數(shù)據(jù)庫(kù)同通用數(shù)據(jù)庫(kù)如SQL Server和Oracle等有何區(qū)別呢?陳新剛告訴我們:通用數(shù)據(jù)庫(kù)主要是為了滿足對(duì)各種復(fù)雜應(yīng)用的數(shù)據(jù)進(jìn)行安全存儲(chǔ),所以SQL解析層有許多注重安全性的冗余設(shè)計(jì),雖然犧牲了效率,但是保證了數(shù)據(jù)的安全穩(wěn)定性。而對(duì)于網(wǎng)管軟件來(lái)說(shuō),最重要的是實(shí)時(shí)性,要實(shí)現(xiàn)對(duì)大規(guī)模海量數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)和告警,就需要數(shù)據(jù)庫(kù)具備快速的數(shù)據(jù)處理能力,監(jiān)測(cè)和告警如果延時(shí)太長(zhǎng),就失去了實(shí)時(shí)監(jiān)控的意義。MXsoft的RealDB去掉了影響數(shù)據(jù)存儲(chǔ)的SQL解析層,采用了記錄級(jí)鎖、以及簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)去掉冗余算法的技術(shù),極大的提高了并發(fā)處理數(shù)據(jù)的能力,滿足了網(wǎng)管軟件在大規(guī)模海量監(jiān)控時(shí)的高強(qiáng)度數(shù)據(jù)記錄處理,從而一舉解決了傳統(tǒng)通用數(shù)據(jù)庫(kù)(SQL Server,Oracle,MySQL等) 在大規(guī)模海量監(jiān)測(cè)時(shí)的瓶頸。
目前MXsoft的RealDB版本已經(jīng)是3.0,數(shù)據(jù)處理效率在所有國(guó)內(nèi)同行中排名***。在某大型石油公司的加油站項(xiàng)目測(cè)試中,單套軟件實(shí)時(shí)監(jiān)測(cè)10000個(gè)點(diǎn),每日采集數(shù)據(jù)高達(dá)100M,而軟件界面響應(yīng)時(shí)間始終控制在3秒之內(nèi),這是非常了不起的成績(jī),這個(gè)性能表現(xiàn)是所有參加測(cè)試的國(guó)內(nèi)外10多款產(chǎn)品中表現(xiàn)***秀的,創(chuàng)造了網(wǎng)管軟件的性能記錄,當(dāng)然也順理成章的為MXsoft贏得了訂單和客戶的贊譽(yù)。也正是基于RealDB實(shí)時(shí)數(shù)據(jù)庫(kù)的優(yōu)異表現(xiàn),MXsoft才能夠推出全球首創(chuàng)的CreCloud云網(wǎng)管。RealDB和CreCloud云網(wǎng)管的***配合,誕生了世界上迄今為止***的一個(gè)商業(yè)網(wǎng)管項(xiàng)目—10萬(wàn)臺(tái)服務(wù)器和網(wǎng)絡(luò)設(shè)備的集中統(tǒng)一監(jiān)控,這也是中國(guó)網(wǎng)管廠商帶給世界的一個(gè)奇跡。
從最初的文件存儲(chǔ)到現(xiàn)在的RealDB,國(guó)內(nèi)網(wǎng)管數(shù)據(jù)庫(kù)伴隨著網(wǎng)管軟件的發(fā)展已經(jīng)走過(guò)了10個(gè)年頭,這其中許多的網(wǎng)管廠商在開(kāi)發(fā)和探索過(guò)程中都做出了他們的貢獻(xiàn)。我們期盼著MXsoft、或者是其他廠商能夠開(kāi)發(fā)出更多充滿創(chuàng)新的、性能不斷刷新的、適合網(wǎng)管軟件的新的數(shù)據(jù)庫(kù),或者它們叫RealDB,或許它們叫CMDB,這些都不重要,關(guān)鍵是我們?cè)趧?chuàng)新。只要有創(chuàng)新,我們就會(huì)不斷進(jìn)步;只要有創(chuàng)新,我們就有可能***行業(yè);只要有創(chuàng)新,我們就能夠贏得未來(lái)的挑戰(zhàn)。國(guó)內(nèi)的網(wǎng)管廠商們,讓我們一起努力創(chuàng)新吧!




























