揚帆大數(shù)據(jù)時代,英特爾攜手星環(huán)打造全閃存分布式數(shù)據(jù)庫
數(shù)字化時代,我們的的一舉一動,一言一行,都幻化成了海量的數(shù)據(jù)。
許多人都有過這樣的經(jīng)歷——你可以隨時在銀行、運營商查詢最近幾個月或者近一年的賬單;但當時間跨度超過一年的時候,系統(tǒng)查詢的時間就要長一些,你可能會間歇性的等待幾秒鐘。這并不是系統(tǒng)在“偷懶”,相反它正在全速幫你從曾經(jīng)的數(shù)據(jù)庫中檢索數(shù)據(jù)。
這就是在線業(yè)務(wù)與離線業(yè)務(wù)的區(qū)別。對于那些檢索頻次高、應(yīng)用范圍廣的數(shù)據(jù),許多都存儲在在線數(shù)據(jù)庫中,方便用戶隨時調(diào)取;而對于那些時間比較長或者檢索頻率低的數(shù)據(jù),更多時候會存儲在離線數(shù)據(jù)庫中,這樣就可以進一步降低使用成本,也提升了整個系統(tǒng)的資源利用效率。
但是這種好處也并不是一概而論的。數(shù)據(jù)查詢與檢索是一件復(fù)雜性的工程。要知道,目前中國用于商用的數(shù)據(jù)庫種類達到了60多種,這還不包括許多企業(yè)自行開發(fā)的開源版本。換句話說,這些不同品牌的數(shù)據(jù)庫很容易產(chǎn)生數(shù)據(jù)應(yīng)用的壁壘,也讓你在數(shù)據(jù)應(yīng)用中遇到包括應(yīng)用復(fù)雜性、數(shù)據(jù)處理速度、系統(tǒng)吞吐能力、平臺部署與調(diào)優(yōu)等多個層面的問題,相應(yīng)的也就影響了用戶決策,制約行業(yè)發(fā)展的關(guān)鍵。而想要解決這個問題,最重要的就是提升數(shù)據(jù)檢索的效率,即提升數(shù)據(jù)處理性能與系統(tǒng)吞吐能力。
以最看中安全、穩(wěn)定性的金融業(yè)務(wù)為例。我們許多人都有跟銀行打交道的經(jīng)歷。以往我們?nèi)ャy行辦理業(yè)務(wù)大多是對應(yīng)后端的結(jié)構(gòu)化數(shù)據(jù)庫,比如我們的每一筆交易都在這里;但是如今銀行也強調(diào)非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用,比如人臉識別、比如賬戶開戶的全程錄像,這些非結(jié)構(gòu)化的數(shù)據(jù)同樣需要存儲在數(shù)據(jù)中,也使得原本的數(shù)據(jù)應(yīng)用形態(tài)和方式產(chǎn)生了改變。
在傳統(tǒng)環(huán)境中,數(shù)據(jù)庫大多針對結(jié)構(gòu)化數(shù)據(jù)所構(gòu)建,所采用的也多是機械硬盤;許多人對于數(shù)據(jù)庫的性能雖然有所認知,但是受限于吞吐量能力,大部分人對于數(shù)據(jù)庫性能的要求也并不高,甚至穩(wěn)定性的要求更勝一籌。但是伴隨著大數(shù)據(jù)和人工智能時代的來臨,高效率、低延遲、實時響應(yīng)等需求的出現(xiàn)使得傳統(tǒng)數(shù)據(jù)庫已經(jīng)不再復(fù)合應(yīng)用需求,越來越多的供應(yīng)商也開始結(jié)合全閃存開發(fā)新的數(shù)據(jù)庫平臺,以滿足用戶對于極致性能的需求。
分布式數(shù)據(jù)庫的出現(xiàn)恰恰是解決了數(shù)據(jù)利用的效率與安全性等諸多問題。集群中的每臺服務(wù)器可能有DBMS的一份完整拷貝副本,或者部分拷貝副本,并具有自己局部的數(shù)據(jù)庫,位于不同地點的許多計算機通過網(wǎng)絡(luò)互相連接,共同組成一個完整的、全局的邏輯上集中、物理上分布的大型數(shù)據(jù)庫。這樣無論是從數(shù)據(jù)調(diào)取的效率還是在數(shù)據(jù)安全、穩(wěn)定等多個方面都有所提升。
星環(huán)科技就是這其中的佼佼者。作為一家專注于企業(yè)級大數(shù)據(jù)基礎(chǔ)軟件的公司,星環(huán)科技自創(chuàng)立時起就推出了多款大數(shù)據(jù)基礎(chǔ)軟件平臺,特別是其中一款名為Transwarp ArgoDB的分布式關(guān)系型數(shù)據(jù)庫產(chǎn)品獲得行業(yè)的認可與青睞。甚至在幾年前,星環(huán)科技還憑借Transwarp ArgoDB成為了英特爾精選解決方案之一。而伴隨著不久前的升級,Transwarp ArgoDB也采用了全新發(fā)布的第三代英特爾至強可擴展處理器,從而將性能表現(xiàn)提升到了新的層級。
Argo這個單詞取自太陽帆,由一個中心出發(fā)展開多個葉片,同時也是星座名,星環(huán)科技用Argo來命名自家的分布式閃存數(shù)據(jù)庫產(chǎn)品,體現(xiàn)一個多模數(shù)據(jù)庫可以滿足多種應(yīng)用場景,同時太陽帆螺旋結(jié)構(gòu)具有運動感和速度感,體現(xiàn)出ArgoDB的高性能,也是希望Argo這艘太陽帆能幫助客戶徜徉在大數(shù)據(jù)的世界當中,與大家一起迎風破浪,披荊斬棘。事實上,結(jié)合當下開源開放的趨勢,分布式數(shù)據(jù)庫也成為了許多企業(yè)的選擇,Transwarp ArgoDB更是憑借完整的SQL支持、分布式事務(wù)支持、實時與批量數(shù)據(jù)接入、海量數(shù)據(jù)OLAP和離線分析、支持三級混合存儲等五大特性獲得了行業(yè)的認可。而在這五大特性之中,后三者都與全閃存的性能直接相關(guān)。
比如“實時與批量數(shù)據(jù)接入”。ArgoDB的這一特性支持實時和批量兩種數(shù)據(jù)導(dǎo)入方式。在線業(yè)務(wù)使用實時數(shù)據(jù)接入,保證數(shù)據(jù)時效性;數(shù)據(jù)倉庫等離線業(yè)務(wù)使用批量數(shù)據(jù)導(dǎo)入方式,吞吐更高。很顯然,這就要求系統(tǒng)具備實時響應(yīng)的效果,而借助于英特爾閃存平臺的優(yōu)勢,ArgoDB不但保質(zhì)保量的完成數(shù)據(jù)寫入任務(wù),還可以在PB級別的數(shù)據(jù)量上同時支撐離線分析和高并發(fā)的實時/準實時的數(shù)據(jù)集市類業(yè)務(wù),讓系統(tǒng)的存儲與計算能力得到更大幅度的提升,具備了更大的性能優(yōu)勢。
更重要的是,ArgoDB支持內(nèi)存/閃存/磁盤的三級混合存儲,這讓它不僅僅具備了全閃存的優(yōu)勢,還能夠兼容傳統(tǒng)的數(shù)據(jù)庫平臺。比如對于同一張報表來說,DBA可以指定副本的存儲策略,如一副本存儲在閃存,兩副本存儲在磁盤,這樣多種備份方式大大提升了系統(tǒng)安全性和可靠性。多級存儲也使得用戶可以更好的在性能和硬件預(yù)算間找到平衡點。
俗話說——火車跑得快,全憑車頭帶。想要讓數(shù)據(jù)處理速度更上一層樓,除了提升存儲介質(zhì)與算法優(yōu)化之外,更重要的、更直接的方式就是采用更強大的計算平臺,為此星環(huán)采用了第三代英特爾至強可擴展處理器,通過軟硬件結(jié)合的方式為客戶提供超強算力。
為了驗證這種提升,星環(huán)科技與英特爾在測試中選擇了TPC-H基準測試。這是一個面向決策支持系統(tǒng)的基準測試,由一套面向業(yè)務(wù)的即席查詢和并發(fā)數(shù)據(jù)修改組成,模擬數(shù)據(jù)庫日常應(yīng)用的情況,可以檢索大量數(shù)據(jù),執(zhí)行高度復(fù)雜的查詢,并為關(guān)鍵業(yè)務(wù)問題提供答案。
(基于Transwarp ArgoDB2.0)
在實際測試中,星環(huán)科技選擇了計算密集的相關(guān)查詢 1、4、5、9、10、16、18、20 和 21等項目。而測試結(jié)果顯示,相較于上代CPU, 第三代英特爾至強可擴展處理器使得星環(huán)科技Transwarp ArgoDB的每小時查詢處理數(shù)(Query Per Hour,QPH)提升了40%。這大大解決了以往計算密集作業(yè)下CPU性能不足的效率瓶頸,更好地滿足離線批處理數(shù)據(jù)倉庫、實時數(shù)據(jù)分析平臺、OLAP 數(shù)據(jù)庫、全文檢索數(shù)據(jù)庫等負載的計算要求,也讓整體性能獲得提升。
不僅如此,借助于英特爾固態(tài)盤DC P4510、英特爾固態(tài)盤D3 S4510和英特爾網(wǎng)卡等產(chǎn)品,整個英特爾至強可擴展家族也對性能實現(xiàn)了加成,這樣對于用戶來說也一勞永逸的解決了后續(xù)應(yīng)用困難。而從用戶最關(guān)心的成本控制角度來說,正因為新平臺性能的優(yōu)勢,使得原本單服務(wù)器節(jié)點的QPH性能得到巨大提升,用戶能夠減少基礎(chǔ)設(shè)施所需要部署的服務(wù)器節(jié)點規(guī)模,減少相應(yīng)的采購、能源、運維、空間等成本,也符合當下國家強調(diào)的“碳達峰”、“碳中和”需求。
正如星環(huán)科技聯(lián)合創(chuàng)始人兼副總裁朱珺辰所強調(diào)的那樣:“近年來,星環(huán)科技與英特爾進行了廣泛而深入的合作,不但持續(xù)在英特爾架構(gòu)上優(yōu)化大數(shù)據(jù)、云計算和人工智能產(chǎn)品,還合作加快第三代英特爾至強可擴展處理器的應(yīng)用落地。此次在星環(huán)科技Transwarp ArgoDB測試中的實例顯示,第三代英特爾至強可擴展處理器在性能上相對上代產(chǎn)品有著顯著的優(yōu)勢,結(jié)合精選解決方案在可用性、擴展性等方面的優(yōu)勢,能夠幫助用戶加快以數(shù)據(jù)為中心的變革。”
如今,隨著互聯(lián)網(wǎng)的飛速發(fā)展,人類社會的數(shù)據(jù)量迅速激增,我們一年產(chǎn)生的數(shù)據(jù)就相當于人類進入現(xiàn)代化以前所有歷史的總和,甚至許多業(yè)務(wù)量很可能在短短的一個月內(nèi)突然爆發(fā)式地增長幾千倍,對應(yīng)的數(shù)據(jù)也很可能快速地從原來的幾百GB飛速上漲到了幾百個TB,這對于各行各業(yè)都產(chǎn)生了全新的挑戰(zhàn),尤其對于一貫以穩(wěn)健著稱的金融行業(yè)來說,更需要的全面的轉(zhuǎn)型與升級。
在這個過程中,我們更需要能夠快速響應(yīng)、零延遲服務(wù)的數(shù)據(jù)平臺,而基于第三代英特爾至強可擴展處理器的星環(huán)分布式數(shù)據(jù)庫Transwarp ArgoDB則扮演了更為重要的角色,使得以銀行為代表的金融業(yè)無論是在結(jié)構(gòu)化還是非結(jié)構(gòu)化數(shù)據(jù)上都能夠快速響應(yīng),同時也幫助金融應(yīng)用更快落地,使得業(yè)務(wù)本身無論從運行速度還是從用戶體驗上都有了全新的升級,更適合未來大數(shù)據(jù)、數(shù)字化的應(yīng)用需求。

































