外包做的系統(tǒng)宕機(jī)了,逼得我重新設(shè)計(jì)一套MySQL數(shù)據(jù)庫(kù)架構(gòu)
?今天給大家分享一個(gè)知識(shí)點(diǎn),是關(guān)于 MySQL 數(shù)據(jù)庫(kù)架構(gòu)演進(jìn)的,因?yàn)楹芏嘈值芴焯旎?MySQL 做系統(tǒng)開發(fā),但是寫的系統(tǒng)都是那種低并發(fā)壓力、小數(shù)據(jù)量的,所以哪怕上線了也就是這么正常跑著而已。
但是你知道你連接的這個(gè) MySQL 數(shù)據(jù)庫(kù)他到底能抗多大并發(fā)壓力嗎?如果 MySQL 數(shù)據(jù)庫(kù)扛不住壓力了,應(yīng)該如何演進(jìn)你知道嗎?
一般業(yè)務(wù)系統(tǒng)運(yùn)行流程圖
首先,我們先來看一個(gè)最最基礎(chǔ)的 Java 業(yè)務(wù)系統(tǒng)連接數(shù)據(jù)庫(kù)運(yùn)行的架構(gòu),其實(shí)簡(jiǎn)單來說,我們平時(shí)都是用 SpringBoot+SSM 技術(shù)棧開發(fā)一個(gè) Java 業(yè)務(wù)系統(tǒng)的,用 Spring Boot 內(nèi)嵌 Tomcat 就可以對(duì)外提供 Http 接口了。
然后最多現(xiàn)在會(huì)加上 Nacos+Dubbo 調(diào)用別的系統(tǒng)接口,數(shù)據(jù)全部靠連接 MySQL 數(shù)據(jù)庫(kù)進(jìn)行 crud 就可以了。
如下圖:

上面那種架構(gòu)的系統(tǒng),估計(jì)就是很多兄弟日常做的最多的系統(tǒng)架構(gòu)了,有的兄弟稍微做的高大上一點(diǎn),大概來說,可能就是會(huì)加入一些 ES、Redis、RocketMQ 一類的中間件簡(jiǎn)單使用一下。
但是大致來說也就這么回事了,那么還是回歸主題,大家知道你上述那種系統(tǒng)下,他連接的數(shù)據(jù)庫(kù)能抗多大壓力嗎?
一臺(tái) 4 核 8G 的機(jī)器能扛多少并發(fā)量呢?
說實(shí)話,要解決這個(gè)問題,一般來說,不是先聊數(shù)據(jù)能抗多少壓力,因?yàn)橥皇菙?shù)據(jù)庫(kù)先去抗高并發(fā),而是你連接數(shù)據(jù)庫(kù)的 Web 系統(tǒng)得先去抗高并發(fā)!也就是我們的 SpringBoot+SSM 那套業(yè)務(wù)系統(tǒng)能抗多高并發(fā)我們得先搞清楚!
所以要搞明白這個(gè)問題,就得先說一個(gè)主題,一般來說我們的 SpringBoot 應(yīng)用系統(tǒng)大致就是部署在 2 核 4G 或者 4 核 8G 的機(jī)器上,這個(gè)機(jī)器配置其實(shí)是很關(guān)鍵的。
所以這里直接告訴大家一個(gè)經(jīng)驗(yàn)值,即使說咱們?nèi)绻渴鸬氖且粋€(gè) 4 核 8G 的機(jī)器,然后 SpringBoot 內(nèi)嵌的 Tomcat 默認(rèn)開了 200 個(gè)線程來處理請(qǐng)求,接著每個(gè)請(qǐng)求都要讀寫多次數(shù)據(jù)庫(kù)。
那么此時(shí),大致來說你的一臺(tái)機(jī)器可以抗大概 500~1000 這個(gè)并發(fā)量,具體多少得看你的接口復(fù)雜度。
如下圖:

高并發(fā)來襲時(shí)數(shù)據(jù)庫(kù)會(huì)先被打死嗎?
所以其實(shí)一般來說,當(dāng)你的高并發(fā)壓力來襲的時(shí)候,通常不會(huì)是數(shù)據(jù)庫(kù)先扛不住了,而是你的業(yè)務(wù)系統(tǒng)所在機(jī)器抗不住了。
比如你部署了 2 臺(tái)機(jī)器,那么其實(shí)到每秒一兩千并發(fā)的時(shí)候,這兩臺(tái)機(jī)器基本上 CPU 負(fù)載都得飆升到 90% 以上 ,壓力很大,而且接口性能會(huì)開始往下掉很多了。
如下圖:

那么這個(gè)時(shí)候我們的數(shù)據(jù)庫(kù)壓力會(huì)如何呢?其實(shí)一般來說你的兩臺(tái)機(jī)器抗下每秒一兩千的請(qǐng)求的時(shí)候后,數(shù)據(jù)庫(kù)壓力通常也會(huì)到一個(gè)小瓶頸,為什么呢?
關(guān)鍵是你的業(yè)務(wù)系統(tǒng)處理每個(gè)業(yè)務(wù)請(qǐng)求的時(shí)候,他是會(huì)讀寫多次數(shù)據(jù)庫(kù)的,所以業(yè)務(wù)系統(tǒng)的一次請(qǐng)求可能會(huì)導(dǎo)致數(shù)據(jù)庫(kù)有多次請(qǐng)求,也正因?yàn)檫@樣,所以此時(shí)可能你的數(shù)據(jù)庫(kù)并發(fā)壓力會(huì)到幾千的樣子。
8 核 16G 的數(shù)據(jù)庫(kù)每秒大概可以抗多少并發(fā)壓力?
那么所以下一個(gè)問題來了,你的數(shù)據(jù)庫(kù)通常是部署在什么樣配置的機(jī)器上?
一般來說給大家說,數(shù)據(jù)庫(kù)的配置如果是那種特別低并發(fā)的場(chǎng)景,其實(shí) 2 核 4G 或者 4 核 8G 也是夠了,但是如果是常規(guī)化一點(diǎn)的公司的生產(chǎn)環(huán)境數(shù)據(jù)庫(kù),通常會(huì)是 8 核 16G。
那么 8 核 16G 的數(shù)據(jù)庫(kù)每秒大概可以抗多少并發(fā)壓力?大體上來說,在幾千這個(gè)數(shù)量級(jí)。
因?yàn)檫@個(gè)具體能抗多少并發(fā)也得看你數(shù)據(jù)庫(kù)里的數(shù)據(jù)量以及你的 SQL 語句的復(fù)雜度,所以一般來說 8 核 16G 的機(jī)器,大概也就是抗到每秒幾千并發(fā)就差不多了。
量再大基本就扛不住了,因?yàn)橥竭@個(gè)量級(jí)下,數(shù)據(jù)庫(kù)的 CPU、內(nèi)存、網(wǎng)絡(luò)、IO 的負(fù)載基本都很高了,尤其是 CPU,可能至少也在百分之七八十了。
如下圖:

數(shù)據(jù)庫(kù)架構(gòu)可以從哪些方面優(yōu)化?
根據(jù)業(yè)務(wù)系統(tǒng)拆分多個(gè)數(shù)據(jù)庫(kù)機(jī)器優(yōu)化方案
那么接著說,如果到了這個(gè)并發(fā)壓力之下,通常來說可以如何進(jìn)行數(shù)據(jù)庫(kù)架構(gòu)的優(yōu)化呢?
其實(shí)也簡(jiǎn)單,我們完全可以加機(jī)器,把數(shù)據(jù)庫(kù)部署到多臺(tái)機(jī)器上去。因?yàn)橥ǔ碚f,我們的一個(gè)數(shù)據(jù)庫(kù)里會(huì)放很多業(yè)務(wù)系統(tǒng)的 db 和 tables,所以首先就是可以按照業(yè)務(wù)系統(tǒng)來進(jìn)行拆分。
比如說多加一臺(tái)機(jī)器,再部署一個(gè)數(shù)據(jù)庫(kù),然后這里放一部分業(yè)務(wù)系統(tǒng)的 db 和 tables,老數(shù)據(jù)庫(kù)機(jī)器放另外一部分業(yè)務(wù)系統(tǒng)的 db 和 tables,此時(shí)一下子就可以緩解老數(shù)據(jù)庫(kù)機(jī)器的壓力了。
如下圖:

讀寫分離架構(gòu)優(yōu)化方案
那么接著問題來了,如果說并發(fā)壓力繼續(xù)提升,導(dǎo)致拆分出去的兩臺(tái)數(shù)據(jù)庫(kù)壓力越來越大了呢?
此時(shí)可以上一招,叫做讀寫分離,就是說給每個(gè)數(shù)據(jù)庫(kù)掛一個(gè)從庫(kù),讓主數(shù)據(jù)庫(kù)基于 binlog 數(shù)據(jù)更新日志同步復(fù)制給從數(shù)據(jù)庫(kù),讓主從數(shù)據(jù)庫(kù)保持?jǐn)?shù)據(jù)一致。
然后我們的系統(tǒng)其實(shí)可以往主庫(kù)里寫入,在從庫(kù)里查詢,此時(shí)就又可以緩解原來的主數(shù)據(jù)庫(kù)的壓力了。
如下圖:

分庫(kù)分表架構(gòu)優(yōu)化方案
再往下說,如果說即使是給主數(shù)據(jù)庫(kù)掛了從庫(kù),然后接著并發(fā)壓力繼續(xù)提升,讓我們的主數(shù)據(jù)庫(kù)寫入壓力過大,每秒幾千寫入,又要扛不住了呢?
此時(shí)就只能上終極方案,分庫(kù)分表了,就是把主庫(kù)拆分為多個(gè)庫(kù),每個(gè)庫(kù)里放一個(gè)表的部分?jǐn)?shù)據(jù),然后用多個(gè)主庫(kù)抗高并發(fā)寫入壓力,這樣就可以再次分散我們的壓力了。
如下圖所示:

總結(jié)
好了,今天分享的知識(shí)就到這里了,其實(shí)我們的數(shù)據(jù)庫(kù)架構(gòu)演進(jìn)基本上就是按照今天說的這個(gè)順序和思路逐步逐步的演進(jìn)的。
剛開始你單臺(tái)數(shù)據(jù)庫(kù)機(jī)器抗幾千并發(fā)扛不住了,就按照業(yè)務(wù)系統(tǒng)拆分多個(gè)數(shù)據(jù)庫(kù)機(jī)器,然后再扛不住了,就上主從架構(gòu)分?jǐn)傋x寫壓力,再扛不住了就分庫(kù)分表,多個(gè)機(jī)器抗數(shù)據(jù)庫(kù)寫入壓力,最后總是可以用數(shù)據(jù)庫(kù)架構(gòu)抗住高并發(fā)壓力的。?



























