近兩年來，國內外諸如AWS、Azure等公有云巨頭都先后推出了自研的數據庫服務,青云QingCloud不僅推出了分布式數據庫RadonDB,同時還將這一經過公有云驗證的數據庫產品應用到企業數據中心，通過將分布式技術與數據庫相結合,再加上SSD的性能加成,性能好得讓人不敢相信。比如網聯公司公布去年“雙十一”時,其峰值交易量每秒達到92000筆,如果用RadonDB的話，也許只需數臺就可以支撐。

溫馨提示:這篇測試長文閱讀大約需要10分鐘。

如何根據企業所需構建面向未來的數據中心,這是絕大多數CIO都在思考的問題。

尤其是智能終端時代,數據蔓延正使得這一問題更加復雜,比如,手機銀行之于營業廳固定的業務窗口,手機App之于固定數量的銷售渠道,以及源起網絡購物的一次次人造“狂歡節”……

對于企業來說,IT負載正變得不可預測,同時生態內外的數據流通正日趨復雜與頻繁,數據蔓延正對企業IT的性能、容量以及管理帶來巨大的挑戰。

在IT演進的過程中,云計算已經被認為是企業IT的必經之路,這在過去幾年中已經得以充分證實,尤其是公有云方面的實踐,一定程度上調和了企業IT需求與成本之間的矛盾,這也使得混合云趨勢正日趨明顯。

公有云的成功經驗正越來越多地應用在企業內部數據中心,以幫助企業更順利地向云端遷移,最典型莫過于源自互聯網分布式存儲的SDS(Software Define Storage,軟件定義存儲)已經成為企業存儲市場最主流的趨勢之一。

RadonDB分布式數據庫:從公有云驗證到企業數據中心應用

隨著公有云服務在企業數據中心內部的應用,不僅幫助用戶解決了現實問題,同時也讓公有云廠商更加了解企業業務特點,為后續推出滿足用戶需求的產品與解決方案提供了條件。典型如數據庫產品,近兩年來,國內外諸如AWS、Azure等公有云巨頭都先后推出了自研的數據庫服務,而青云QingCloud不僅推出了分布式數據庫RadonDB,同時還將這一經過公有云驗證的數據庫產品應用到企業數據中心。

相對于公有云環境,企業數據中心的業務更加復雜,對于IT基礎架構的要求也更高。數據庫不僅需要部署在數據中心內部的物理服務器、虛擬機、容器等私有云環境,并在必要時能夠擴展到公有云之上。

軟件定義存儲與SSD的應用推動分布式數據庫進入企業數據中心,實際上存儲與數據庫的結合亦更加緊密(如Server SAN的一大場景就是數據庫)。SSD的高性能優勢在一定程度上有助于提升數據庫的性能,簡化數據庫架構,讓分布式成為可能,理論上實現容量的***擴展,并性能亦隨之線性增長。

青云QingCloud新一代分布式數據庫RadonDB,基于開源的MySQL技術研發,而MySQL是全球范圍內應用最廣泛的數據庫,其開源的性質能夠杜絕廠商鎖定,開源社區的蓬勃發展培養了一大批精通MySQL的人才,為企業部署、應用、管理MySQL提供了便利。如同x86服務器一樣,其不僅方便使用,也易于管理,有助于降低企業數據中心成本。

但在海量數據時代,單機版MySQL數據庫已經很難滿足企業應用需求,而部署集群版MySQL則更多出于可靠性目的,雖然也有企業基于MySQL開發出分布式部署版本,但更多是面向特定需求,離成熟產品還有一段距離。而RadonDB則率先在公有云中應用改進,然后根據企業應用特點進行優化,進而形成一個標準商用的產品,以方便企業用戶使用。

具體來說, RadonDB主要包含兩大模塊的改進和創新:radon和xenon。radon是一個分布式SQL層,主要負責數據路由和計算;xenon則是一個MySQL集群高可用組件,用以構建分布式存儲層,具有秒級選主(Master)、選主后的數據快速回放、以及實現主從切換后的數據零丟失等功能。RadonDB從技術上對分庫分表式概念進行了更進一步的擴展,使其成為具備高可用、滿足Snapshot隔離級別分布式事務的開源分布式數據庫,而非僅僅只是一個分庫分表組件。

RadonDB分布式數據庫架構圖(來源:青云QingCloud)

RadonDB性能測試前 環境搭建和組件說明

一般來說,數據庫與存儲(確切地說是塊存儲)的關系非常緊密,通常數據庫的性能與存儲的性能息息相關。而分布式存儲的性能一方面要依賴硬件,同時也與分布式存儲軟件本身的優化相關。下圖為RadonDB測試架構:

整個測試環境由6臺服務器和一臺25GbE交換機組成,主要分為分布式存儲環境和RadonDB分布式數據庫環境。每臺服務器均配備2顆Intel Xeon E5-2650 v4處理器(12核,2.2GHz)和64GB內存。

在存儲方面,為了更好地體現RadonDB分布式數據庫的性能,E企研究院使用“全閃”配置的分布式存儲作為RadonDB數據庫存儲。分布式存儲以最小三節點部署,每個節點配備了4片4TB大容量的Intel DC P4510 SSD。這是Intel第四代U.2接口的NVMeSSD,更好的性能與較大的容量能夠更容易觀察到RadonDB數據庫性能的上限。

分布式存儲方案使用新一代25GbE網絡,以提升數據內部流通的帶寬。根據以往的測試經驗,在全閃配置環境中,10GbE網絡通常會成為存儲瓶頸,進而影響應用性能發揮。所以在本次RadonDB測試使用了25GbE網絡,分布式存儲通過iSCSI連接到RadonDB數據,iSCSI是企業環境中標準通用的數據傳輸技術,能夠最小化對企業現有環境的影響。同時,25GbE能夠更好地支持RDMA技術(Remote Direct Memory Access,遠程直接內存訪問),即RoCE或iWARP,在iSCSI連接無法提供應用需要的存儲性能情況下,可以很容易升級到新的數據傳輸協議,比如iSER(iSCSI Extensions for RDMA)或者NVMe over Fabric等。

[[260997]]

在數據庫方面,RadonDB可最小二節點部署(滿足最小可用性),通常三節點起步。在本次測試中使用三節點部署,并以二節點數據庫性能作為參照,考量RadonDB數據庫的可擴展性。利用RadonDB的自動化部署與運維工具Ansible,進行簡單的端口和變量設置,即可實現一鍵安裝,整個部署過程簡潔方便。

E企研究院希望盡可能貼近真實應用環境,通過測試模型去盡可能真實地模擬實際應用環境,但實際環境中通常存在多種不可預估情況,且與特定應用負載息息相關。E企研究院在本次測試中使用Sysbench軟件用以評估RadonDB數據庫性能,并根據大多數應用運行負載構造測試數據,盡可能為更多用戶提供參考。

同時為了更進一步探尋RadonDB分布式數據庫的極限,因為這與RadonDB數據庫的應用場景相關,E企研究院對測試組件進行了一些調整,將Intel DC P4800X SSD作為RadonDB數據庫的數據緩存。Intel DC P4800X SSD即Intel公司Optane(傲騰),相比SSD,具有更均衡的讀寫能力,且延遲更低,據Intel實驗室數據:相比NAND SSD,Optane用作數據庫緩存,數據庫有數倍性能提升。

Intel將Optane用作數據庫緩存,有著3倍以上的性能提升,同時數據庫平均響應時間降低了三倍左右,以此說明Optane的性能優異(來源于Intel)

隨著人工智能、大數據分析等應用方式的出現,企業場景化、個性化服務等創新業務對移動互聯網的依賴越來越高,手機、互聯網交易成為主流的交易渠道,促銷、搶購等活動常常導致業務突發高點,業務數據量和交易量的暴增對企業數據庫提出了高的要求。

為此,E企研究院的測試圍繞“性能”而展開,一是RadonDB數據庫最小配置下的性能,二是從2節點擴展到3節點后,RadonDB數據庫的性能變化。

RadonDB小試牛刀:分布式技術在數據庫領域的驗證

E企研究院使用Sysbench軟件分別在RadonDB和MySQL數據庫中構建了16張表,共2億行數據,約占用80GB存儲空間。在讀、寫性能測試中,一個事務即一條SQL;在混合讀寫中,一個事務中包含4條讀SQL和1條寫SQL。

E企研究院首先測試了RadonDB數據庫分別在2節點與3節點下的性能,并以單機MySQL(社區版5.7.22)的性能作為參照組。兩者的軟硬件配置完全一樣,均使用相同容量的SSD作為數據存儲。

兩節點部署的RadonDB數據庫性能與單機部署的MySQL數據庫性能,在寫場景下大致相當,前者略高。這可以理解,在分布式環境下,兩節點部署通常是出于可用性設計,與單機部署的寫性能相差不大。但在讀性能方面,兩節點部署的RadonDB數據庫性能,相比單機部署的MySQL數據庫性能有較大提高(這有些類似RAID 1的讀寫性能特征)。

而在3節點部署的RadonDB數據庫環境下,相比2節點,其性能提升了1倍左右。如上圖,三節點RadonDB的80000 TPS相比2節點RadonDB的35000 TPS,寫性能提升超過一倍,而在讀性能方面,也約有50%的性能提升;在混合場景(讀寫比例8:2)下,性能提升了80%左右。相比2節點最小部署配置,3節點正常部署下,性能將約為單機部署的MySQL性能的2倍左右。

而在延遲方面,RadonDB數據庫發揮出了“分布式”技術的優勢特點,即通過多節點的并行讀寫,不僅能夠提升數據庫的性能,同時極大地降低了事務處理過程中的瓶頸延遲。如上圖所示,在讀性能方面,3節點RadonDB數據庫的平均延遲僅為MySQL的60%,在寫方面,RadonDB數據庫平均延遲約為MySQL的三分之一,而在混合讀寫測試中,也降低到MySQL數據庫平均延遲的二分之一左右。

更高的性能與更低的平均延遲,意味著RadonDB數據庫可以支撐更核心更關鍵的應用場景,不僅是分布式原理提供了更好的可用性,同時性能和延遲都能滿足更為苛刻的應用需求。而且更為重要的是,這驗證了分布式技術同樣也適用于數據庫領域,能夠為應用需求提供“彈性”,即可伸縮的性能,以及容量。

不可預測性是現代IT面臨的一大難題,將分布式與數據庫相結合,這就意味著RadonDB也如分布式計算或分布式存儲技術那樣,能夠根據企業現有應用需求進行部署,隨著應用的性能需求變化而通過增刪數據庫節點來進行靈活調整(性能或容量)。

面向OLTP應用:如何進行性能擴展

上一測試是為了驗證RadonDB數據庫在實驗室極端環境下的性能,同時也檢驗環境是否安裝配置正確,其性能數據并不能代表生產環境中的性能。排除極少的極端情況,實際環境中數據庫的讀寫負載模型更加復雜多變,并與特定應用直接相關。而在這一測試中,E企研究院希望通過模擬貼近真實的應用負載,以此來考量QingCloud RadonDB數據庫在性能擴展方面的表現。

OLTP是數據庫最常見也是最核心的應用場景之一,通常是企業關鍵應用的代名詞,其通常意味著可靠性、可用性以及高性能等等特點,而在海量數據時代,其還增加了一個需求,即(性能和容量)的可擴展性,從數據庫層面來看,即對數據庫的管理與優化,這通常是一個長期過程,且與應用負載的變化息息相關。

數據庫優化方式與存儲系統的特點變化有著緊密的聯系。而隨著云計算時代的深入,尤其是分布式技術的不斷普及深化,正改變越多越多的企業IT架構,典型如分布式對計算和存儲行業的技術革新。而公有云供應商將分布式技術應用于數據庫領域,也將影響和改變數據庫的管理和優化方式。

數據庫優化,在一定程度上,即是根據應用特點對數據處理方式與存儲位置做出相應改變,因為很難對(SAN)存儲做出改變。但是云計算時代的數據庫,在引入分布式技術以后,則為數據庫性能優化提供了另外一種選擇,借用存儲行業的兩個術語:Scale-out橫向擴展與Scale-up縱向擴展。典型如RadonDB數據庫通過分布式原理能夠實現節點數的增加,性能與容量增長;而計算、存儲與網絡等硬件技術的發展,又為單個數據庫節點的性能提升帶來了條件。但對用戶而言有一個重要前提:RadonDB等新興的數據庫都是基于標準的x86硬件,這意味著能夠更快享受到x86及其周邊硬件更新帶來的性能紅利。如支持U.2接口的NVMe SSD和25GbE網絡幾乎是現在主流x86服務器的標配,但在傳統SAN存儲領域,要完全發揮更“企業范兒”的U.2 NVMe SSD的性能特點,還需時間,更不要說支持RDMA的25GbE網絡了。

因此,以下測試正是圍繞這兩個特點進行設計:一方面分別對二、三節點配置的RadonDB數據庫性能進行測試,考量其Scale-out橫向擴展后的性能變化;另一方面則通過在數據庫節點增加性能更好的存儲介質(即Optane做緩存),而不改變其他條件,以此體現RadonDB數據庫在使用新硬件后的性能變化。以下為測試結果:

RadonDB分布式數據庫從2節點擴展到3節點之后,數據庫性能從6824 TPS(Transactions Per Second,每秒在線事務處理數,衡量數據庫性能的單位)上升到了11285 TPS,TPS提升了大約1倍左右;平均延遲則從2節點的75ms下降為3節點的45ms,時間也差不多接近越來的二分之一。

對于基于開源的商用數據庫產品而言,在單一數據庫系統內,其TPS從千上升到萬是一個不小的進步。比如說起網絡購物,***個反應也許就是“雙十一”,政策規定,目前所有的網絡購物支付都必須經過網聯清算公司(簡稱“網聯”)的結算平臺。據網聯公布的2019年“雙十一”數據:其當日處理的交易總筆數為11.7億筆,在峰值時,每秒的交易處理在9.2萬筆左右。雖然并不能與實際情況劃等號,但也許10節點RadonDB數據庫就能支撐這一負載?出于可靠性,當然還需要額外幾臺備用。

這只是使用NAND SSD做數據庫存儲的情況,如果使用性能更好的新硬件,支撐每秒10萬筆交易,RadonDB數據庫節點數量也許能夠降到個位數。因為在另一測試中,E企研究院在每個RadonDB數據庫節點上增加了兩片容量為375GB的Intel Optane SSD DC P4800X(簡稱Optane,即傲騰SSD),互為冗余,用作數據庫緩存,主要利用Optane的高寫性能加速數據庫寫IO。同樣是在二、三節點RadonDB數據庫環境下進行測試,其性能變化如下:

Optane用作緩存之后,RadonDB數據庫兩節點的性能上升到了26900 TPS,大約是未使用Optane情況下的4倍左右;三節點性能則從11285上升到了60996,RadonDB數據庫性能至少提高了5倍以上。

而且,在數據庫響應時間方面也有很大的提升。如上表所列,未使用Optane時,2和3節點RadonDB數據庫的響應時間分別為75ms和19ms,在使用Optane之后,相同測試條件下,其響應時間分別下降到45ms和8ms,約為使用Optane前的四分之一。

僅就數據庫而言,也許只需數臺RadonDB數據庫就能支撐起“雙十一”龐大規模的交易量,這一方面得益于分布式技術在其中的應用;另一方面也得益于龐大的x86生態系統,RadonDB數據庫能夠在盡可能短的時間內就能夠驗證、應用更新且性能更好的硬件技術或產品,以此進一步提高數據庫自身的性能。

當然這雖然只是實驗室數據,還有待實際環境驗證。但結合E企研究院以往的測試數據來看,RadonDB分布式數據庫已經初步具備了成為企業關鍵應用數據庫的條件,具有較好的性能、可用性以及易維護性,并且將分布式技術帶來的“彈性”與數據庫很好地結合在一起。

雖然本次測試結果主要以性能數字展現,但其背后卻RadonDB數據庫與傳統數據庫不同的特點,比如RadonDB數據庫性能和容量的可擴展性,這一方面來自于經過驗證的分布式技術,另一方面也可從采納新硬件中獲得,其背后離不開x86這一強大生態;而另一強大生態則在于MySQL開源社區,理論上RadonDB數據庫不僅能夠從開源社區獲得***的數據庫改進技術,也能獲得寶貴的學習經驗以及數據庫管理人才,盡可能降低企業用戶更新換代所需的學習成本;而青云QingCloud公有云供應商的基因則助推了RadonDB的產品化過程,不僅能夠了解企業用戶的應用特點,同時也能加快其研發速度,讓RadonDB能夠更有針對性地滿足海量數據時代下數據庫性能與容量需求。2018年初,RadonDB 已在GitHub開源,可以通過radondb.io了解更多詳情和進行深度體驗。