高并發(fā)架構(gòu)設(shè)計(jì)的要點(diǎn)

高并發(fā)意味著系統(tǒng)要應(yīng)對(duì)海量請(qǐng)求。從筆者多年的面試經(jīng)驗(yàn)來(lái)看，很多面試者在面對(duì)“什么是高并發(fā)架構(gòu)”的問(wèn)題時(shí)，往往會(huì)粗略地認(rèn)為一個(gè)系統(tǒng)的設(shè)計(jì)是否滿足高并發(fā)架構(gòu)，就是看這個(gè)系統(tǒng)是否可以應(yīng)對(duì)海量請(qǐng)求。

再細(xì)問(wèn)具體的細(xì)節(jié)時(shí)，回答往往顯得模棱兩可，比如每秒多少個(gè)請(qǐng)求才是高并發(fā)請(qǐng)求、系統(tǒng)的性能表現(xiàn)如何、系統(tǒng)的可用性表現(xiàn)如何，等等。

為了可以清晰地評(píng)判一個(gè)系統(tǒng)的設(shè)計(jì)是否滿足高并發(fā)架構(gòu)，在正式給出通用的高并發(fā)架構(gòu)設(shè)計(jì)方案前，我們先要厘清形成高并發(fā)系統(tǒng)的必要條件、高并發(fā)系統(tǒng)的衡量指標(biāo)和高并發(fā)場(chǎng)景分類。

形成高并發(fā)系統(tǒng)的必要條件

◎高性能：性能代表一個(gè)系統(tǒng)的并行處理能力，在同樣的硬件設(shè)備條件下，性能越高，越能節(jié)約硬件資源；同時(shí)性能關(guān)乎用戶體驗(yàn)，如果系統(tǒng)響應(yīng)時(shí)間過(guò)長(zhǎng)，用戶就會(huì)產(chǎn)生抱怨。

◎高可用性：系統(tǒng)可以長(zhǎng)期穩(wěn)定、正常地對(duì)外提供服務(wù)，而不是經(jīng)常出故障、宕機(jī)、崩潰。

◎可擴(kuò)展性：系統(tǒng)可以通過(guò)水平擴(kuò)容的方式，從容應(yīng)對(duì)請(qǐng)求量的日漸遞增乃至突發(fā)的請(qǐng)求量激增。

我們可以將形成高并發(fā)系統(tǒng)的必要條件類比為一個(gè)籃球運(yùn)動(dòng)員的各項(xiàng)屬性：“高性能”相當(dāng)于這個(gè)球員在賽場(chǎng)上的表現(xiàn)力強(qiáng)，“高可用性”相當(dāng)于這個(gè)球員在賽場(chǎng)上總可以穩(wěn)定發(fā)揮，“可擴(kuò)展性”相當(dāng)于這個(gè)球員的未來(lái)成長(zhǎng)性好。

高并發(fā)系統(tǒng)的衡量指標(biāo)

1. 高性能指標(biāo)

一個(gè)很容易想到的可以體現(xiàn)系統(tǒng)性能的指標(biāo)是，在一段時(shí)間內(nèi)系統(tǒng)的平均響應(yīng)時(shí)間。例如，在一段時(shí)間內(nèi)有10000個(gè)請(qǐng)求被成功響應(yīng)，那么在這段時(shí)間內(nèi)系統(tǒng)的平均響應(yīng)時(shí)間是這10000個(gè)請(qǐng)求響應(yīng)時(shí)間的平均值。

然而，平均值有明顯的硬傷并在很多數(shù)據(jù)統(tǒng)計(jì)場(chǎng)景中為大家所調(diào)侃。假設(shè)你和傳奇籃球巨星姚明被分到同一組，你的身高是174cm，姚明的身高是226cm，那么這組的平均身高是2m！這看起來(lái)非常不合理。

假設(shè)在10000個(gè)請(qǐng)求中有9900個(gè)請(qǐng)求的響應(yīng)時(shí)間分別是1ms，另外100個(gè)請(qǐng)求的響應(yīng)時(shí)間分別是100ms，那么平均響應(yīng)時(shí)間僅為1.99ms，完全掩蓋了那100個(gè)請(qǐng)求的100ms響應(yīng)時(shí)間的問(wèn)題。

平均值的主要缺點(diǎn)是易受極端值的影響，這里的極端值是指偏大值或偏小值——當(dāng)出現(xiàn)偏大值時(shí)，平均值將會(huì)增大；當(dāng)出現(xiàn)偏小值時(shí)，平均值將會(huì)減小。

筆者推薦的系統(tǒng)性能的衡量指標(biāo)是響應(yīng)時(shí)間PCTn統(tǒng)計(jì)方式，PCTn表示請(qǐng)求響  應(yīng)時(shí)間按從小到大排序后第n分位的響應(yīng)時(shí)間。假設(shè)在一段時(shí)間內(nèi)100個(gè)請(qǐng)求的響應(yīng)時(shí)間從小到大排序如圖所示，則第99分位的響應(yīng)時(shí)間是100ms，即PCT99= 100ms。

圖片

分位值越大，對(duì)響應(yīng)時(shí)間長(zhǎng)的請(qǐng)求越敏感。比如統(tǒng)計(jì)10000個(gè)請(qǐng)求的響應(yīng)時(shí)間：

◎PCT50=1ms，表示在10000個(gè)請(qǐng)求中50%的請(qǐng)求響應(yīng)時(shí)間都在1ms以內(nèi)。

◎PCT99=800ms，表示在10000個(gè)請(qǐng)求中99%的請(qǐng)求響應(yīng)時(shí)間都在800ms以內(nèi)。

◎PCT999=1.2s，表示在10000個(gè)請(qǐng)求中99.9%的請(qǐng)求響應(yīng)時(shí)間都在1.2s以內(nèi)。

從筆者總結(jié)的經(jīng)驗(yàn)數(shù)據(jù)來(lái)看，請(qǐng)求的平均響應(yīng)時(shí)間=200ms，且PCT99=1s的高并發(fā)系統(tǒng)基本能夠滿足高性能要求。如果請(qǐng)求的響應(yīng)時(shí)間在200ms以內(nèi)，那么用戶不會(huì)感受到延遲；而如果請(qǐng)求的響應(yīng)時(shí)間超過(guò)1s，那么用戶會(huì)明顯感受到延遲。

2. 高可用性指標(biāo)

可用性=系統(tǒng)正常運(yùn)行時(shí)間/系統(tǒng)總運(yùn)行時(shí)間，表示一個(gè)系統(tǒng)正常運(yùn)行的時(shí)間占比，也可以將其理解為一個(gè)系統(tǒng)對(duì)外可用的概率。我們一般使用N個(gè)9來(lái)描述系統(tǒng)的可用性如何，如表所示。

圖片

高可用性要求系統(tǒng)至少保證3個(gè)9或4個(gè)9的可用性。在實(shí)際的系統(tǒng)指標(biāo)監(jiān)控中，很多公司會(huì)取3個(gè)9和4個(gè)9的中位數(shù)：99.95%（3個(gè)9、1個(gè)5），作為系統(tǒng)可用性監(jiān)控的閾值。當(dāng)監(jiān)控到系統(tǒng)可用性低于99.95%時(shí)及時(shí)發(fā)出告警信息，以便系統(tǒng)維護(hù)者可以及時(shí)做出優(yōu)化，如系統(tǒng)可用性補(bǔ)救、擴(kuò)容、分析故障原因、系統(tǒng)改造等。

3. 可擴(kuò)展性指標(biāo)

面對(duì)到來(lái)的突發(fā)流量，我們明顯來(lái)不及對(duì)系統(tǒng)做架構(gòu)改造，而更快捷、有效的做法是增加系統(tǒng)集群中的節(jié)點(diǎn)來(lái)水平擴(kuò)展系統(tǒng)的服務(wù)能力。可擴(kuò)展性=吞吐量提升比例/集群節(jié)點(diǎn)增加比例。

在最理想的情況下，集群節(jié)點(diǎn)增加幾倍，系統(tǒng)吞吐量就能增加幾倍。一般來(lái)說(shuō)，擁有70%～80%可擴(kuò)展性的系統(tǒng)基本能夠滿足可擴(kuò)展性要求。

高并發(fā)場(chǎng)景分類

我們使用計(jì)算機(jī)實(shí)現(xiàn)各種業(yè)務(wù)功能，最終將體現(xiàn)在對(duì)數(shù)據(jù)的兩種操作上，即讀和寫(xiě)，于是高并發(fā)請(qǐng)求可以被歸類為高并發(fā)讀和高并發(fā)寫(xiě)。

比如有的業(yè)務(wù)場(chǎng)景讀多寫(xiě)少，需要重點(diǎn)解決高并發(fā)讀的問(wèn)題；有的業(yè)務(wù)場(chǎng)景寫(xiě)多讀少，需要重點(diǎn)解決高并發(fā)寫(xiě)的問(wèn)題；而有的業(yè)務(wù)場(chǎng)景讀多寫(xiě)多，則需要同時(shí)解決高并發(fā)讀和高并發(fā)寫(xiě)的問(wèn)題。

將高并發(fā)場(chǎng)景劃分為高并發(fā)讀場(chǎng)景和高并發(fā)寫(xiě)場(chǎng)景，是因?yàn)樵谶@兩種場(chǎng)景中往往有不同的高并發(fā)解決方案。

數(shù)據(jù)庫(kù)讀/寫(xiě)分離

大部分互聯(lián)網(wǎng)應(yīng)用都是讀多寫(xiě)少的，比如刷帖的請(qǐng)求永遠(yuǎn)比發(fā)帖的請(qǐng)求多，瀏覽商品的請(qǐng)求永遠(yuǎn)比下單購(gòu)買(mǎi)商品的請(qǐng)求多。數(shù)據(jù)庫(kù)承受的高并發(fā)請(qǐng)求壓力，主要來(lái)自讀請(qǐng)求。

我們可以把數(shù)據(jù)庫(kù)按照讀/寫(xiě)請(qǐng)求分成專門(mén)負(fù)責(zé)處理寫(xiě)請(qǐng)求的數(shù)據(jù)庫(kù)（寫(xiě)庫(kù)）和專門(mén)負(fù)責(zé)處理讀請(qǐng)求的數(shù)據(jù)庫(kù)（讀庫(kù)），讓所有的寫(xiě)請(qǐng)求都落到寫(xiě)庫(kù)，寫(xiě)庫(kù)將寫(xiě)請(qǐng)求處理后的最新數(shù)據(jù)同步到讀庫(kù)，所有的讀請(qǐng)求都從讀庫(kù)中讀取數(shù)據(jù)。這就是數(shù)據(jù)庫(kù)讀/寫(xiě)分離的思路。

數(shù)據(jù)庫(kù)讀/寫(xiě)分離使大量的讀請(qǐng)求從數(shù)據(jù)庫(kù)中分離出來(lái)，減少了數(shù)據(jù)庫(kù)訪問(wèn)壓力，縮短了請(qǐng)求響應(yīng)時(shí)間。

讀/寫(xiě)分離架構(gòu)

我們通常使用數(shù)據(jù)庫(kù)主從復(fù)制技術(shù)實(shí)現(xiàn)讀/寫(xiě)分離架構(gòu)，將數(shù)據(jù)庫(kù)主節(jié)點(diǎn)Master作為“寫(xiě)庫(kù)”，將數(shù)據(jù)庫(kù)從節(jié)點(diǎn)Slave作為“讀庫(kù)”，一個(gè)Master可以與多個(gè)Slave連接，如圖所示。

圖片

市面上各主流數(shù)據(jù)庫(kù)都實(shí)現(xiàn)了主從復(fù)制技術(shù)。

讀/寫(xiě)請(qǐng)求路由方式

在數(shù)據(jù)庫(kù)讀/寫(xiě)分離架構(gòu)下，把寫(xiě)請(qǐng)求交給Master處理，而把讀請(qǐng)求交給Slave處理，那么由什么角色來(lái)執(zhí)行這樣的讀/寫(xiě)請(qǐng)求路由呢？一般可以采用如下兩種方式。

1. 基于數(shù)據(jù)庫(kù)Proxy代理的方式

在業(yè)務(wù)服務(wù)和數(shù)據(jù)庫(kù)服務(wù)器之間增加數(shù)據(jù)庫(kù)Proxy代理節(jié)點(diǎn)（下文簡(jiǎn)稱Proxy），業(yè)務(wù)服務(wù)對(duì)數(shù)據(jù)庫(kù)的一切操作都需要經(jīng)過(guò)Proxy轉(zhuǎn)發(fā)。

Proxy收到業(yè)務(wù)服務(wù)的數(shù)據(jù)庫(kù)操作請(qǐng)求后，根據(jù)請(qǐng)求中的SQL語(yǔ)句進(jìn)行歸類，將屬于寫(xiě)操作的請(qǐng)求（如insert/delete/update語(yǔ)句）轉(zhuǎn)發(fā)到數(shù)據(jù)庫(kù)Master，將屬于讀操作的請(qǐng)求（如select語(yǔ)句）轉(zhuǎn)發(fā)到數(shù)據(jù)庫(kù)任意一個(gè)Slave，完成讀/寫(xiě)分離的路由。

開(kāi)源項(xiàng)目如中心化代理形式的MySQL-Proxy和MyCat，以及本地代理形式的MySQL-Router等都實(shí)現(xiàn)了讀/寫(xiě)分離功能。

2. 基于應(yīng)用內(nèi)嵌的方式

基于應(yīng)用內(nèi)嵌的方式與基于數(shù)據(jù)庫(kù)Proxy代理的方式的主要區(qū)別是，它在業(yè)務(wù)服務(wù)進(jìn)程內(nèi)進(jìn)行請(qǐng)求讀/寫(xiě)分離，數(shù)據(jù)庫(kù)連接框架開(kāi)源項(xiàng)目如gorm、shardingjdbc等都實(shí)現(xiàn)了此形式的讀/寫(xiě)分離功能。

主從延遲與解決方案

數(shù)據(jù)庫(kù)讀/寫(xiě)分離架構(gòu)依賴數(shù)據(jù)庫(kù)主從復(fù)制技術(shù)，而數(shù)據(jù)庫(kù)主從復(fù)制存在數(shù)據(jù)復(fù)制延遲（主從延遲），因此會(huì)導(dǎo)致在數(shù)據(jù)復(fù)制延遲期間主從數(shù)據(jù)的不一致，Slave獲取不到最新數(shù)據(jù)。針對(duì)主從延遲問(wèn)題有如下三種解決方案。

1. 同步數(shù)據(jù)復(fù)制

數(shù)據(jù)庫(kù)主從復(fù)制默認(rèn)是異步模式，Master在寫(xiě)完數(shù)據(jù)后就返回成功了，而不管Slave是否收到此數(shù)據(jù)。我們可以將主從復(fù)制配置為同步模式，Master在寫(xiě)完數(shù)據(jù)后，要等到全部Slave都收到此數(shù)據(jù)后才返回成功。

這種方案可以保證數(shù)據(jù)庫(kù)每次寫(xiě)操作成功后，Master和Slave都能讀取到最新數(shù)據(jù)。這種方案相對(duì)簡(jiǎn)單，將數(shù)據(jù)庫(kù)主從復(fù)制修改為同步模式即可，無(wú)須改造業(yè)務(wù)服務(wù)。

但是由于在處理業(yè)務(wù)寫(xiě)請(qǐng)求時(shí)，Master要等到全部Slave都收到數(shù)據(jù)后才能返回成功，寫(xiě)請(qǐng)求的延遲將大大增加，數(shù)據(jù)庫(kù)的吞吐量也會(huì)有明顯的下滑。這種方案的實(shí)用價(jià)值較低，僅適合在低并發(fā)請(qǐng)求的業(yè)務(wù)場(chǎng)景中使用。

2. 強(qiáng)制讀主

不同的業(yè)務(wù)場(chǎng)景對(duì)主從延遲的容忍性不一樣。例如，用戶a剛剛發(fā)布了一條狀態(tài)，他瀏覽個(gè)人主頁(yè)時(shí)應(yīng)該展示這條狀態(tài)，這個(gè)場(chǎng)景不太能容忍主從延遲；而好友用戶b此時(shí)瀏覽用戶a的個(gè)人主頁(yè)時(shí)，可以暫時(shí)看不到用戶a最新發(fā)布的狀態(tài)，這個(gè)場(chǎng)景可以容忍主從延遲。我們可以對(duì)業(yè)務(wù)場(chǎng)景按照主從延遲容忍性的高低進(jìn)行劃分，對(duì)于主從延遲容忍性高的場(chǎng)景，執(zhí)行正常的讀/寫(xiě)分離邏輯；而對(duì)于主從延遲容忍性低的場(chǎng)景，強(qiáng)制將讀請(qǐng)求路由到數(shù)據(jù)庫(kù)Master，即強(qiáng)制讀主。

3. 會(huì)話分離

比如某會(huì)話在數(shù)據(jù)庫(kù)中執(zhí)行了寫(xiě)操作，那么在接下來(lái)極短的一段時(shí)間內(nèi)，此會(huì)話的讀請(qǐng)求暫時(shí)被強(qiáng)制路由到數(shù)據(jù)庫(kù)Master，與“強(qiáng)制讀主”方案中的例子很像，保證每個(gè)用戶的寫(xiě)操作立刻對(duì)自己可見(jiàn)。

暫時(shí)強(qiáng)制讀主的時(shí)間可以被設(shè)定為略高于數(shù)據(jù)庫(kù)完成主從數(shù)據(jù)復(fù)制的延遲時(shí)間，盡量使強(qiáng)制讀主的時(shí)間段覆蓋主從數(shù)據(jù)復(fù)制的實(shí)際延遲時(shí)間。

本地緩存

在計(jì)算機(jī)世界中，緩存（Cache）無(wú)處不在，如CPU緩存、DNS緩存、瀏覽器緩存等。值得一提的是，Cache在我國(guó)臺(tái)灣地區(qū)被譯為“快取”，更直接地體現(xiàn)了它的用途：快速讀取。緩存的本質(zhì)是通過(guò)空間換時(shí)間的思路來(lái)保證數(shù)據(jù)的快速讀取。

業(yè)務(wù)服務(wù)一般需要通過(guò)網(wǎng)絡(luò)調(diào)用向其他服務(wù)或數(shù)據(jù)庫(kù)發(fā)送讀數(shù)據(jù)請(qǐng)求。為了提高數(shù)據(jù)的讀取效率，業(yè)務(wù)服務(wù)進(jìn)程可以將已經(jīng)獲取到的數(shù)據(jù)緩存到本地內(nèi)存中，之后業(yè)務(wù)服務(wù)進(jìn)程收到相同的數(shù)據(jù)請(qǐng)求時(shí)就可以直接從本地內(nèi)存中獲取數(shù)據(jù)返回，將網(wǎng)絡(luò)請(qǐng)求轉(zhuǎn)化為高效的內(nèi)存存取邏輯。這就是本地緩存的主要用途。在本書(shū)后面的核心服務(wù)設(shè)計(jì)篇中會(huì)大量應(yīng)用本地緩存，本節(jié)先重點(diǎn)介紹本地緩存的技術(shù)原理。

基本的緩存淘汰策略

雖然緩存使用空間換時(shí)間可以提高數(shù)據(jù)的讀取效率，但是內(nèi)存資源的珍貴決定了本地緩存不可無(wú)限擴(kuò)張，需要在占用空間和節(jié)約時(shí)間之間進(jìn)行權(quán)衡。這就要求本地緩存能自動(dòng)淘汰一些緩存的數(shù)據(jù)，淘汰策略應(yīng)該盡量保證淘汰不再被使用的數(shù)據(jù)，保證有較高的緩存命中率?；镜木彺嫣蕴呗匀缦隆?/p>

◎FIFO（First In First Out）策略：優(yōu)先淘汰最早進(jìn)入緩存的數(shù)據(jù)。這是最簡(jiǎn)單的淘汰策略，可以基于隊(duì)列實(shí)現(xiàn)。但是此策略的緩存命中率較低，越是被頻繁訪問(wèn)的數(shù)據(jù)是越早進(jìn)入隊(duì)列的，于是會(huì)被越早地淘汰。此策略在實(shí)踐中很少使用。

◎LFU（Least Frequently Used）策略：優(yōu)先淘汰最不常用的數(shù)據(jù)。LFU策略會(huì)為每條緩存數(shù)據(jù)維護(hù)一個(gè)訪問(wèn)計(jì)數(shù)，數(shù)據(jù)每被訪問(wèn)一次，其訪問(wèn)計(jì)數(shù)就加1，訪問(wèn)計(jì)數(shù)最小的數(shù)據(jù)是被淘汰的目標(biāo)。此策略很適合緩存在短時(shí)間內(nèi)會(huì)被頻繁訪問(wèn)的熱點(diǎn)數(shù)據(jù)，但是最近最新緩存的數(shù)據(jù)總會(huì)被淘汰，而早期訪問(wèn)頻率高但最近一直未被訪問(wèn)的數(shù)據(jù)會(huì)長(zhǎng)期占用緩存。

◎LRU（Least Recent Used）策略：優(yōu)先淘汰緩存中最近最少使用的數(shù)據(jù)。此策略一般基于雙向鏈表和哈希表配合實(shí)現(xiàn)。雙向鏈表負(fù)責(zé)存儲(chǔ)緩存數(shù)據(jù)，并總是將最近被訪問(wèn)的數(shù)據(jù)放置在尾部，使緩存數(shù)據(jù)在雙向鏈表中按照最近訪問(wèn)時(shí)間由遠(yuǎn)及近排序，每次被淘汰的都是位于雙向鏈表頭部的數(shù)據(jù)。哈希表負(fù)責(zé)定位數(shù)據(jù)在雙向鏈表中的位置，以便實(shí)現(xiàn)快速數(shù)據(jù)訪問(wèn)。此策略可以有效提高短期內(nèi)熱點(diǎn)數(shù)據(jù)的緩存命中率，但如果是偶發(fā)性地訪問(wèn)冷數(shù)據(jù)，或者批量訪問(wèn)數(shù)據(jù)，則會(huì)導(dǎo)致熱點(diǎn)數(shù)據(jù)被淘汰，進(jìn)而降低緩存命中率。

LRU策略和LFU策略的缺點(diǎn)是都會(huì)導(dǎo)致緩存命中率大幅下降。近年來(lái)，業(yè)界出現(xiàn)了一些更復(fù)雜、效果更好的緩存淘汰策略，比如W-TinyLFU策略。

分布式緩存

由于本地緩存把數(shù)據(jù)緩存在服務(wù)進(jìn)程的內(nèi)存中，不需要網(wǎng)絡(luò)開(kāi)銷，故而性能非常高。但是把數(shù)據(jù)緩存到內(nèi)存中也有較多限制，舉例如下。

◎無(wú)法共享：多個(gè)服務(wù)進(jìn)程之間無(wú)法共享本地緩存。

◎編程語(yǔ)言限制：本地緩存與程序綁定，用Golang語(yǔ)言開(kāi)發(fā)的本地緩存組件不可以直接為用Java語(yǔ)言開(kāi)發(fā)的服務(wù)器所使用。

◎可擴(kuò)展性差：由于服務(wù)進(jìn)程攜帶了數(shù)據(jù)，因此服務(wù)是有狀態(tài)的。有狀態(tài)的服務(wù)不具備較好的可擴(kuò)展性。

◎內(nèi)存易失性：服務(wù)進(jìn)程重啟，緩存數(shù)據(jù)全部丟失。

我們需要一種支持多進(jìn)程共享、與編程語(yǔ)言無(wú)關(guān)、可擴(kuò)展、數(shù)據(jù)可持久化的緩存，這種緩存就是分布式緩存。

分布式緩存選型

主流的分布式緩存開(kāi)源項(xiàng)目有Memcached和Redis，兩者都是優(yōu)秀的緩存產(chǎn)品，并且都具有緩存數(shù)據(jù)共享、與編程語(yǔ)言無(wú)關(guān)的能力。不過(guò)，相對(duì)于Memcached而言，Redis更為流行，主要體現(xiàn)如下。

◎數(shù)據(jù)類型豐富：Memcached僅支持字符串?dāng)?shù)據(jù)類型緩存，而Redis支持字符串、列表、集合、哈希、有序集合等數(shù)據(jù)類型緩存。

◎數(shù)據(jù)可持久化：Redis通過(guò)RDB機(jī)制和AOF機(jī)制支持?jǐn)?shù)據(jù)持久化，而Memcached沒(méi)有數(shù)據(jù)持久化能力。

◎高可用性：Redis支持主從復(fù)制模式，在服務(wù)器遇到故障后，它可以通過(guò)主從切換操作保證緩存服務(wù)不間斷。Redis具有較高的可用性。

◎分布式能力：Memcached本身并不支持分布式，因此只能通過(guò)客戶端，以一致性哈希這樣的負(fù)載均衡算法來(lái)實(shí)現(xiàn)基于Memcached的分布式緩存系統(tǒng)。而Redis有官方出品的無(wú)中心分布式方案Redis Cluster，業(yè)界也有豆瓣Codis和推特Twemproxy的中心化分布式方案。

由于Redis支持豐富的數(shù)據(jù)類型和數(shù)據(jù)持久化，同時(shí)擁有高可用性和高可擴(kuò)展性，因此它成為大部分互聯(lián)網(wǎng)應(yīng)用分布式緩存的首選。

如何使用Redis緩存

使用Redis緩存的邏輯如下。

（1）嘗試在Redis緩存中查找數(shù)據(jù)，如果命中緩存，則返回?cái)?shù)據(jù)。

（2）如果在Redis緩存中找不到數(shù)據(jù)，則從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)。

（3）將從數(shù)據(jù)庫(kù)中讀取到的數(shù)據(jù)保存到Redis緩存中，并為此數(shù)據(jù)設(shè)置一個(gè)過(guò)期時(shí)間。

（4）下次在Redis緩存中查找同樣的數(shù)據(jù)，就會(huì)命中緩存。

將數(shù)據(jù)保存到Redis緩存時(shí)，需要為數(shù)據(jù)設(shè)置一個(gè)合適的過(guò)期時(shí)間，這樣做有以下兩個(gè)好處。

◎如果沒(méi)有為緩存數(shù)據(jù)設(shè)置過(guò)期時(shí)間，那么數(shù)據(jù)會(huì)一直堆積在Redis內(nèi)存中，尤其是那些不再被訪問(wèn)或者命中率極低的緩存數(shù)據(jù)，它們一直占據(jù)Redis內(nèi)存會(huì)造成大量的資源浪費(fèi)。設(shè)置過(guò)期時(shí)間可以使Redis自動(dòng)刪除那些不再被訪問(wèn)的緩存數(shù)據(jù)，而對(duì)于經(jīng)常被訪問(wèn)的緩存數(shù)據(jù)，每次被訪問(wèn)時(shí)都重置過(guò)期時(shí)間，可以保證緩存命中率高。

◎當(dāng)數(shù)據(jù)庫(kù)與Redis緩存由于各種故障出現(xiàn)了數(shù)據(jù)不一致的情況時(shí)，過(guò)期時(shí)間是一個(gè)很好的兜底手段。例如，設(shè)置緩存數(shù)據(jù)的過(guò)期時(shí)間為10s，那么數(shù)據(jù)庫(kù)和Redis緩存即使出現(xiàn)數(shù)據(jù)不一致的情況，最多也就持續(xù)10s。過(guò)期時(shí)間可以保證數(shù)據(jù)庫(kù)和Redis緩存僅在此時(shí)間段內(nèi)有數(shù)據(jù)不一致的情況，因此可以保證數(shù)據(jù)的最終一致性。

在上述邏輯中，有一個(gè)極有可能帶來(lái)風(fēng)險(xiǎn)的操作：某請(qǐng)求訪問(wèn)的數(shù)據(jù)在Redis緩存中不存在，此請(qǐng)求會(huì)訪問(wèn)數(shù)據(jù)庫(kù)讀取數(shù)據(jù)；而如果有大量的請(qǐng)求訪問(wèn)數(shù)據(jù)庫(kù)，則可能導(dǎo)致數(shù)據(jù)庫(kù)崩潰。Redis緩存中不存在某數(shù)據(jù)，只可能有兩種原因：一是在Redis緩存中從未存儲(chǔ)過(guò)此數(shù)據(jù)，二是此數(shù)據(jù)已經(jīng)過(guò)期。下面我們就這兩種原因來(lái)做有針對(duì)性的優(yōu)化。

緩存穿透

當(dāng)用戶試圖請(qǐng)求一條連數(shù)據(jù)庫(kù)中都不存在的非法數(shù)據(jù)時(shí)，Redis緩存會(huì)顯得形同虛設(shè)。

（1）嘗試在Redis緩存中查找此數(shù)據(jù)，如果命中，則返回?cái)?shù)據(jù)。

（2）如果在Redis緩存中找不到此數(shù)據(jù)，則從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)。

（3）如果在數(shù)據(jù)庫(kù)中也找不到此數(shù)據(jù)，則最終向用戶返回空數(shù)據(jù)

可以看到，Redis緩存完全無(wú)法阻擋此類請(qǐng)求直接訪問(wèn)數(shù)據(jù)庫(kù)。如果黑客惡意持續(xù)發(fā)起請(qǐng)求來(lái)訪問(wèn)某條不存在的非法數(shù)據(jù)，那么這些非法請(qǐng)求會(huì)全部穿透Redis緩存而直接訪問(wèn)數(shù)據(jù)庫(kù)，最終導(dǎo)致數(shù)據(jù)庫(kù)崩潰。這種情況被稱為“緩存穿透”。

為了防止出現(xiàn)緩存穿透的情況，當(dāng)在數(shù)據(jù)庫(kù)中也找不到某數(shù)據(jù)時(shí)，可以在Redis緩存中為此數(shù)據(jù)保存一個(gè)空值，用于表示此數(shù)據(jù)為空。這樣一來(lái)，之后對(duì)此數(shù)據(jù)的請(qǐng)求均會(huì)被Redis緩存攔截，從而阻斷非法請(qǐng)求對(duì)數(shù)據(jù)庫(kù)的騷擾。

不過(guò)，如果黑客訪問(wèn)的不是一條非法數(shù)據(jù)，而是大量不同的非法數(shù)據(jù)，那么此方案會(huì)使得Redis緩存中存儲(chǔ)大量無(wú)用的空數(shù)據(jù)，甚至?xí)鸪鲚^多的合法數(shù)據(jù)，大大降低了Redis緩存命中率，數(shù)據(jù)庫(kù)再次面臨風(fēng)險(xiǎn)。我們可以使用布隆過(guò)濾器來(lái)解決緩存穿透問(wèn)題。

布隆過(guò)濾器由一個(gè)固定長(zhǎng)度為m的二進(jìn)制向量和k個(gè)哈希函數(shù)組成。當(dāng)某數(shù)據(jù)被加入布隆過(guò)濾器中后，k個(gè)哈希函數(shù)為此數(shù)據(jù)計(jì)算出k個(gè)哈希值并與m取模，并且在二進(jìn)制向量對(duì)應(yīng)的N個(gè)位置上設(shè)置值為1；如果想要查詢某數(shù)據(jù)是否在布隆過(guò)濾器中，則可以通過(guò)相同的哈希計(jì)算后在二進(jìn)制向量中查看這k個(gè)位置值：

◎如果有任意一個(gè)位置值為0，則說(shuō)明被查詢的數(shù)據(jù)一定不存在；

◎如果所有的位置值都為1，則說(shuō)明被查詢的數(shù)據(jù)可能存在。之所以說(shuō)可能存在，是因?yàn)楣：瘮?shù)免不了會(huì)有數(shù)據(jù)碰撞的可能，在這種情況下會(huì)造成對(duì)某數(shù)據(jù)的誤判，不過(guò)可以通過(guò)調(diào)整m和k的值來(lái)降低誤判率。

雖然布隆過(guò)濾器對(duì)于“數(shù)據(jù)存在”有一定的誤判，但是對(duì)于“數(shù)據(jù)不存在”的判定是準(zhǔn)確的。布隆過(guò)濾器很適合用來(lái)防止緩存穿透：將數(shù)據(jù)庫(kù)中的全部數(shù)據(jù)加入布隆過(guò)濾器中，當(dāng)用戶請(qǐng)求訪問(wèn)某數(shù)據(jù)但是在Redis緩存中找不到時(shí)，檢查布隆過(guò)濾器中是否記錄了此數(shù)據(jù)。如果布隆過(guò)濾器認(rèn)為數(shù)據(jù)不存在，則用戶請(qǐng)求不再訪問(wèn)數(shù)據(jù)庫(kù)；如果布隆過(guò)濾器認(rèn)為數(shù)據(jù)可能存在，則用戶請(qǐng)求繼續(xù)訪問(wèn)數(shù)據(jù)庫(kù)；如果在數(shù)據(jù)庫(kù)中找不到此數(shù)據(jù)，則在Redis緩存中設(shè)置空值。雖然布隆過(guò)濾器對(duì)“數(shù)據(jù)存在”有一定的誤判，但是誤判率較低。最后在Redis緩存中設(shè)置的空值也很少，不會(huì)影響Redis緩存命中率。

緩存雪崩

如果在同一時(shí)間Redis緩存中的數(shù)據(jù)大面積過(guò)期，則會(huì)導(dǎo)致請(qǐng)求全部涌向數(shù)據(jù)庫(kù)。這種情況被稱為“緩存雪崩”。緩存雪崩與緩存穿透的區(qū)別是，前者是很多緩存數(shù)據(jù)不存在造成的，后者是一條緩存數(shù)據(jù)不存在導(dǎo)致的。

緩存雪崩一般有兩種誘因：大量數(shù)據(jù)有相同的過(guò)期時(shí)間，或者Redis服務(wù)宕機(jī)。第一種誘因的解決方案比較簡(jiǎn)單，可以在為緩存數(shù)據(jù)設(shè)置過(guò)期時(shí)間時(shí)，讓過(guò)期時(shí)間的值在預(yù)設(shè)的小范圍內(nèi)隨機(jī)分布，避免大部分緩存數(shù)據(jù)有相同的過(guò)期時(shí)間。第二種誘因取決于Redis的可用性，選取高可用的Redis集群架構(gòu)可以極大地降低Redis服務(wù)宕機(jī)的概率。

高并發(fā)讀場(chǎng)景總結(jié)：CQRS

無(wú)論是數(shù)據(jù)庫(kù)讀/寫(xiě)分離、本地緩存還是分布式緩存，其本質(zhì)上都是讀/寫(xiě)分離，這也是在微服務(wù)架構(gòu)中經(jīng)常被提及的CQRS模式。CQRS（Command Query Responsibility Segregation，命令查詢職責(zé)分離）是一種將數(shù)據(jù)的讀取操作與更新操作分離的模式。query指的是讀取操作，而command是對(duì)會(huì)引起數(shù)據(jù)變化的操作的總稱，新增、刪除、修改這些操作都是命令。

CQRS的簡(jiǎn)要架構(gòu)與實(shí)現(xiàn)

為了避免引入微服務(wù)領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)的相關(guān)概念，下圖給出了CQRS的簡(jiǎn)要架構(gòu)。

圖片

（1）當(dāng)業(yè)務(wù)服務(wù)收到客戶端發(fā)起的command請(qǐng)求（即寫(xiě)請(qǐng)求）時(shí)，會(huì)將此請(qǐng)求交給寫(xiě)數(shù)據(jù)存儲(chǔ)來(lái)處理。

（2）寫(xiě)數(shù)據(jù)存儲(chǔ)完成數(shù)據(jù)變更后，將數(shù)據(jù)變更消息發(fā)送到消息隊(duì)列。

（3）讀數(shù)據(jù)存儲(chǔ)負(fù)責(zé)監(jiān)聽(tīng)消息隊(duì)列，當(dāng)它收到數(shù)據(jù)變更消息后，將數(shù)據(jù)寫(xiě)入自身。

（4）當(dāng)業(yè)務(wù)服務(wù)收到客戶端發(fā)起的query請(qǐng)求（即讀請(qǐng)求）時(shí)，將此請(qǐng)求交給讀數(shù)據(jù)存儲(chǔ)來(lái)處理。

（5）讀數(shù)據(jù)存儲(chǔ)將此請(qǐng)求希望訪問(wèn)的數(shù)據(jù)返回。

寫(xiě)數(shù)據(jù)存儲(chǔ)、讀數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸通道均是較為寬泛的代稱，其中寫(xiě)數(shù)據(jù)存儲(chǔ)和讀數(shù)據(jù)存儲(chǔ)在不同的高并發(fā)場(chǎng)景下有不同的具體指代，數(shù)據(jù)傳輸通道在不同的高并發(fā)場(chǎng)景下有不同的形式體現(xiàn)，可能是消息隊(duì)列、定時(shí)任務(wù)等。

◎?qū)τ跀?shù)據(jù)庫(kù)讀/寫(xiě)分離來(lái)說(shuō)，寫(xiě)數(shù)據(jù)存儲(chǔ)是 Master，讀數(shù)據(jù)存儲(chǔ)是 Slave，消息隊(duì)列的實(shí)現(xiàn)形式是數(shù)據(jù)庫(kù)主從復(fù)制。

◎?qū)τ诜植际骄彺鎴?chǎng)景來(lái)說(shuō)，寫(xiě)數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)庫(kù)，讀數(shù)據(jù)存儲(chǔ)是 Redis 緩存，消息隊(duì)列的實(shí)現(xiàn)形式是使用消息中間件監(jiān)聽(tīng)數(shù)據(jù)庫(kù)的binlog數(shù)據(jù)變更日志。

無(wú)論是何種場(chǎng)景，都應(yīng)該為寫(xiě)數(shù)據(jù)存儲(chǔ)選擇適合高并發(fā)寫(xiě)入的存儲(chǔ)系統(tǒng)，為讀數(shù)據(jù)存儲(chǔ)選擇適合高并發(fā)讀取的存儲(chǔ)系統(tǒng)，消息隊(duì)列作為數(shù)據(jù)傳輸通道要足夠健壯，保證數(shù)據(jù)不丟失。