[[342681]]

 “快醒醒!快醒醒!”，隱隱約約，我聽到有人在叫我。

慢慢睜開眼睛，原來旁邊是MySQL大哥。

“我怎么睡著了?”

“嗨，你剛才是不是出現(xiàn)了錯(cuò)誤，整個(gè)進(jìn)程都崩潰了!害得一大堆查詢請求都給我懟過來了!”，MySQL說到。

剛剛醒來，腦子還有點(diǎn)懵，MySQL大哥扶我起來繼續(xù)工作。

“糟了!我之前緩存的數(shù)據(jù)全都不見了!”

“WTF?你沒有做持久化嗎?”，MySQL大哥一聽臉色都變了。

我尷尬的搖了搖頭，“我都是保存在內(nèi)存中的，所以才那么快啊”

“那也可以在硬盤上保存一下啊，遇到這種情況全部從頭再來建立緩存，這不浪費(fèi)時(shí)間嘛!”

我點(diǎn)了點(diǎn)頭，“讓我琢磨一下，看看怎么做這個(gè)持久化”。

RDB持久化

沒幾天，我就拿出了一套方案：RDB

既然我的數(shù)據(jù)都在內(nèi)存中存放著，最簡單的就是遍歷一遍把它們?nèi)紝懭胛募小?/p>

為了節(jié)約空間，我定義了一個(gè)二進(jìn)制的格式，把數(shù)據(jù)一條一條碼在一起，生成了一個(gè)RDB文件。

不過我的數(shù)據(jù)量有點(diǎn)大，要是全部備份一次得花不少時(shí)間，所以不能太頻繁的去做這事，要不然我不用干正事了，光花時(shí)間去備份了。

還有啊，要是一直沒有寫入操作，都是讀取操作，那我也不用重復(fù)備份，浪費(fèi)時(shí)間。

思來想去，我決定提供一個(gè)配置參數(shù)，既可以支持周期性備份，也可以避免做無用功。

就像這樣：

• save 900 1 # 900秒(15分鐘)內(nèi)有1個(gè)寫入
• save 300 10 # 300秒(5分鐘)內(nèi)有10個(gè)寫入
• save 60 10000 # 60秒(1分鐘)內(nèi)有10000個(gè)寫入

多個(gè)條件可以組合使用，只要上面一個(gè)條件滿足，我就會去進(jìn)行備份。

后來我又想了一下，這樣還是不行，我得fork出一個(gè)子進(jìn)程去做這件事，不能浪費(fèi)我的時(shí)間。

有了備份文件，下次我再遇到崩潰退出，甚至服務(wù)器斷電罷工了，只要我的備份文件還在，我就能在啟動(dòng)的時(shí)候讀取，快速恢復(fù)之前的狀態(tài)啦!

MySQL:binlog

我?guī)е@套方案，興沖沖的拿給了MySQL大哥看了，期待他給我一些鼓勵(lì)。

“老弟，你這個(gè)方案有點(diǎn)問題啊”，沒想到，他竟給我澆了一盆冷水。

“問題?有什么問題?”

“你看啊，你這個(gè)周期性去備份，周期還是分鐘級別的，你可知道咱們這服務(wù)每秒鐘都要響應(yīng)多少請求，像你這樣不得丟失多少數(shù)據(jù)?”，MySQL語重心長的說到。

我一下有些氣短了，“可是，這個(gè)備份一次要遍歷全部數(shù)據(jù)，開銷還是挺大的，不適合高頻執(zhí)行啊”

“誰叫你一次遍歷全部數(shù)據(jù)了?來來來，我給你看個(gè)東西”，MySQL大哥把我?guī)У搅艘粋€(gè)文件目錄下：

• mysql-bin.000001
• mysql-bin.000002
• mysql-bin.000003
• ···

“看，這些是我的二進(jìn)制日志binlog，你猜猜看里面都裝了些什么?”，MySQL大哥指著這一堆文件說到。

我看了一眼，全是一堆二進(jìn)制數(shù)據(jù)，這哪看得懂，我搖了搖頭。

“這里面呀記錄了我對數(shù)據(jù)執(zhí)行更改的所有操作，像是INSERT，UPDATE、DELETE等等動(dòng)作，等我要進(jìn)行數(shù)據(jù)恢復(fù)的時(shí)候就可以派上大用場了”

聽他這么一說，我一下來了靈感!告別了MySQL大哥，回去研究起新的方案來了。

AOF持久化

你們也知道，我也是基于命令式的，每天的工作就是響應(yīng)業(yè)務(wù)程序發(fā)來的命令請求。

回來以后，我決定照葫蘆畫瓢，學(xué)著MySQL大哥的樣子，把我執(zhí)行的所有寫入命令都記錄下來，專門寫入了一個(gè)文件，并給這種持久化方式也取了一個(gè)名字：AOF(Append Only File)。

不過我遇到了RDB方案同樣的問題，我該多久寫一次文件呢?

我肯定不能每執(zhí)行一條寫入命令就記錄到文件中，那會嚴(yán)重拖垮我的性能!我決定準(zhǔn)備一個(gè)緩沖區(qū)，然后把要記錄的命令先臨時(shí)保存在這里，然后再擇機(jī)寫入文件，我把這個(gè)臨時(shí)緩沖區(qū)叫做aof_buf。

說干就干，我試了一下，竟然發(fā)現(xiàn)數(shù)據(jù)沒有寫入到文件中去。多方打聽才知道，原來操作系統(tǒng)也有個(gè)緩存區(qū)，我寫的數(shù)據(jù)被他緩存起來了，沒有給我寫入到文件中去，這不是坑爹呢嘛!

看來，我寫完了還得要去刷新一下，把數(shù)據(jù)真正給寫下去，思來想去，我還是提供一個(gè)參數(shù)，讓業(yè)務(wù)程序去設(shè)置什么時(shí)候刷新吧。

appendfsync參數(shù)，三個(gè)取值：

• always: 每個(gè)事件周期都同步刷新一次
• everysec: 每一秒都同步刷新一次
• no: 我只管寫，讓操作系統(tǒng)自己決定什么時(shí)候真正寫入吧

AOF重寫

這一次我不像之前那么沖動(dòng)，我決定先試運(yùn)行一段時(shí)間再去告訴MySQL大哥，免得又被他戳到軟肋。

試用了一段時(shí)間，各方面都運(yùn)行良好，不過我發(fā)現(xiàn)隨著時(shí)間的推移，我寫的這個(gè)AOF備份文件越來越大，越來越大!不僅非常占硬盤空間，復(fù)制移動(dòng)，加載分析都非常的麻煩耗時(shí)。

我得想個(gè)辦法把文件給壓縮一下，我把這個(gè)過程叫做AOF重寫。

一開始，我打算去分析原來的AOF文件，然后將其中的冗余指令去掉，來給AOF文件瘦瘦身，不過我很快放棄了這個(gè)想法，這工作量實(shí)在太大了，分析起來也頗為麻煩，浪費(fèi)很多精力跟時(shí)間。

原來的一條條記錄這種方式實(shí)在是太笨了，數(shù)據(jù)改來改去，有很多中間狀態(tài)都沒用，我何不就把最終都數(shù)據(jù)狀態(tài)記錄下來就好了?

比如：

• RPUSH name_list '編程技術(shù)宇宙'
• RPUSH name_list '帥地玩編程'
• RPUSH name_list '后端技術(shù)學(xué)堂'

可以合并成一條搞定：

• RPUSH name_list '編程技術(shù)宇宙' '帥地玩編程' '后端技術(shù)學(xué)堂'

AOF文件重寫的思路我是有了，不過這件事干起來還是很耗時(shí)間，我決定和RDB方式一樣，fork出一個(gè)子進(jìn)程來做這件事情。

謹(jǐn)慎如我，發(fā)現(xiàn)這樣做之后，子進(jìn)程在重寫期間，我要是修改了數(shù)據(jù)，就會出現(xiàn)和重寫的內(nèi)容不一致的情況!MySQL大哥肯定會挑刺兒，我還得把這個(gè)漏洞給補(bǔ)上。

于是，我在之前的aof_buf之外，又準(zhǔn)備了一個(gè)緩沖區(qū)：AOF重寫緩沖區(qū)。

從創(chuàng)建重寫子進(jìn)程開始的那一刻起，我把后面來的寫入命令也copy一份寫到這個(gè)重寫緩沖區(qū)中，等到子進(jìn)程重寫AOF文件結(jié)束之后，我再把這個(gè)緩沖區(qū)中的命令寫入到新的AOF文件中。

最后再重命名新的AOF文件，替換掉原來的那個(gè)臃腫不堪的大文件，終于大功告成!

再三確定我的思路沒有問題之后，我?guī)е碌姆桨冈俅握业搅薓ySQL大哥，我都做到這份兒上了，這一次，想必他應(yīng)該無話可說了吧?

MySQL大哥看了我的方案露出了滿意的笑容，只是問了一個(gè)問題：

這AOF方案這么好了，RDB方案是不是可以不要了呢?

萬萬沒想到，他居然問我這個(gè)問題，我竟陷入了沉思，你覺得我該怎么回答好呢?

本文轉(zhuǎn)載自微信公眾號「編程技術(shù)宇宙」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系編程技術(shù)宇宙公眾號。