在這一講，我將為你講解分布式存儲中“貨架”的關鍵技術——緩存技術。

[[324176]]

在計算機領域的各個方面，緩存都非常重要，是提升訪問性能的一個重要技術。為什么這么說呢?

從單個計算機的體系結構來看，內存和處理器速度差異很大，如果不采用緩存技術，處理器的性能會受到很大的限制。

再看計算機應用，如果不采用緩存技術，對于每個請求，應用都要與后臺數據庫做一次交互，而數據庫中的數據存儲在磁盤上，因此每次請求都要和磁盤做交互，而磁盤訪問的性能很低，造成訪問延遲。

除此之外，還有網絡訪問，如果沒有緩存機制，每次訪問主機都要與遠程機器做交互，速度又可想而知。

接下來，我們就一起打卡分布式緩存技術吧。

什么是分布式緩存?

打比方來說，緩存技術其實就像一個水缸，平時它會存儲一定的水，而這些水就來自深井。如果每次都去深井打水，一方面井口比較小，導致一次能接收的用水請求有限;另一方面，井比較深，打水的工序比較復雜，導致所需時間比較長。

而有了這個水缸，我們就不需要去深井里打水，當水缸里沒水時，水泵會將深井里的水抽到水缸中暫時存儲起來。也就是說，“緩存技術”存儲了滿足人們一定時間內常用的“水量”，以提高用水效率。

在計算機領域，緩存技術一般是指，用一個更快的存儲設備存儲一些經常用到的數據，供用戶快速訪問。用戶不需要每次都與慢設備去做交互，因此可以提高訪問效率。

分布式緩存就是指在分布式環境或系統下，把一些熱門數據存儲到離用戶近、離應用近的位置，并盡量存儲到更快的設備，以減少遠程數據傳輸的延遲，讓用戶和應用可以很快訪問到想要的數據。這，是不是可以形象地理解為“身手鑰錢”隨身帶呢?

其實，我們通常說的分布式數據緩存，屬于計算機應用中的緩存的一種。而計算機應用中的緩存，一般指內存，即內存存儲了用戶經常訪問的數據，用戶或應用不再需要到磁盤中去獲取相應的數據，大幅提高訪問速度。

如下圖所示，數據 A 是應用經常訪問的數據，而數據 B 很少被應用訪問，因此當應用訪問數據 A 時，不需要到磁盤，而直接訪問內存即可得到對應的值，速度較快;相反，訪問數據 B 時，由于內存中沒有緩存數據 B，所以應用需要到磁盤中獲取對應的值，速度較慢。

 

 

那么今天，我要與你分享的分布式數據存儲相關的緩存技術，就是以內存做為磁盤的緩存。

分布式緩存原理

Redis 分布緩存原理Redis 的全稱是 Remote Dictionary Server(遠程字典服務器)。可以直觀地看出，它是以字典結構將數據存儲在內存中，應用可直接到內存讀寫 Redis 存儲的數據。

Redis 集群是一個典型的去中心化結構，每個節點都負責一部分數據的存儲，同時，每個節點還會進行主備設計來提高 Redis 的可靠性，具體原理你可以再回顧下前面文章中的相關內容。

接下來，我與你分享下，Redis 中與緩存關系最緊密的三個特性：支持多數據結構、支持持久化和主備同步。

第一，Redis 支持多數據結構。

Redis 是一個基于內存的 key-value 數據庫，為了方便支持多應用的緩存，比如緩存文本類型、數據庫的查詢結果(字段與字段對應的值)等等，支持的數據結構不僅有簡單的 k/v 類型，還可以支持 List、Set、Hash 等復雜類型的存儲。

以 Hash 這種復雜類型的存儲為例，Redis 將 Hash 視作一個整體當作數據庫的 value(可以是一個對象，比如結構體對象)進行存儲。如果把 Hash 結構的整體看作對象的話，Hash 結構里的 key-value 相當于該對象的屬性名和屬性值。

比如，插入 Hash 數據類型的命令：HMSET test field1 “Hello” field2 “World”中，如下圖所示，test 為 key 值， field1 “Hello” field2 “World” 為 value 值，如果把整個 Hash 結構看做對象的話，則 field1、field2 類似于對象中的屬性名，“Hello”“World”類似于對象中的屬性值。

 

 

第二，Redis 支持持久化。

持久化是指，將數據從內存這種易失性存儲設備中寫入磁盤，從而讓數據永久保存。Redis 中存儲的數據雖然是基于內存的，但它也提供了持久化的機制，主要有兩種方式：RDB 和 AOF。

RDB(Redis DataBase)，也稱快照方式，簡單來說就是 Redis 會定時將內存中的數據備份到磁盤中，形成一個快照，比如每天保存一下過去一周的數據。這樣當節點出現故障時，可以根據快照恢復到不同版本的數據。這種方式有一個明顯的缺點，是會造成數據丟失，即當節點出現故障時，新數據可能還未備份到磁盤中。

AOF(Append Only File)的出現主要彌補了 RDB 數據不一致的問題，其思想與上一講提到的數據庫復制技術中 binary log 類似，即記錄下 Redis 中所有的更新操作。

• 在 Redis 中，提供了三種實現 AOF 的策略：AOF_FSYNC_NO (不同步)，即不會自動觸發寫操作的同步;
• AOF_FSYNC_EVERYSEC (每秒同步)，即每隔一秒都會將寫操作同步到磁盤;
• AOF_FSYNC_ALWAYS (每次寫都同步)，即每次發生寫操作會立即同步到磁盤。

Redis 中默認采用 AOF_FSYNC_EVERYSEC(每秒同步)的策略，因為這種策略的性能很不錯，而且一旦出現故障，最多只會丟失一秒的數據。

第三，Redis 支持主備同步。

說到主備同步，我相信你應該想到了上一講提到的數據復制技術。在 Redis 中，采用的是異步復制技術，但 Redis 可以通過配置 min-replicas-to-write 和 min-replicas-max-lag 這兩個參數來有效地保證數據一致性。

比如，設置 min-replicas-to-write=3、min-replicas-max-lag=10，表示當至少有 3 個備數據庫連接主數據庫的延遲時間小于 10s 時，主數據庫才可以執行寫操作。延遲時間是從最后一次收到備數據庫的心跳開始計算，通常每秒發送一次心跳。

除了上面對寫操作的同步，在 Redis 中，還有兩種情況是需要進行數據同步的：

• 一種情況是初次同步，即備數據庫剛啟動時的數據同步;
• 另一種情況是，因網絡故障導致主備數據庫斷開連接，待網絡恢復后的備數據庫的數據同步。

針對這兩種情況，Redis 提供了兩種同步模式，即完整重同步和部分重同步。

完整重同步的流程如下所示：

當備服務器啟動時，會向主服務器發送 SYNC 命令;

主服務器收到命令后會生成 RDB(快照)文件，并記錄從現在起新執行的寫操作;

RDB 生成后會發送給備服務器，備服務器通過 RDB 文件進行數據更新;

更新完成后，主服務器再將新記錄的寫操作發送給備服務器，備服務器執行完這些新記錄的寫操作，便與主服務器的數據保持一致了。

 

 

簡單地說，部分重同步就是，當網絡恢復后，主數據庫將主備數據庫斷開連接之后的一系列寫操作發送給備服務器，備數據庫執行這些寫操作，從而保證數據保持一致。

在這種方式的實現中，主備數據庫會共同維護一個復制偏移量，這樣主數據庫就知道應該將哪些寫操作發給備數據庫，備數據庫同步時也知道應該從哪里繼續執行操作。

如圖所示，主數據庫的復制偏移量為 5000 時，向備數據庫發送了 100 個字節的數據，發送結束后復制偏移量為 5100。

此時主備數據庫連接斷開，備數據庫沒有接收到這 100 個字節的數據，等到備數據庫重新與主數據庫連接上之后，會給主數據庫發送 PSYNC 命令，并帶上自己的復制偏移量 5000，主數據庫接收到信息后，根據接收到的復制偏移量，將 5000 之后的數據發給備數據庫，從而完成數據的部分重同步。

 

 

以上，就是分布式緩存系統 Redis 中涉及的關鍵技術，包括支持的數據結構、數據持久化方法和數據同步方法，相信通過上面的介紹，你對分布式緩存技術已經有了一定的了解。

接下來，我再帶你學習另一個緩存數據庫 Memcached。

Memcached 分布式緩存原理

與 Redis 類似，Memcached 也是一個基于內存的高性能 key-value 緩存數據庫。Memcached 比 Redis 問世更早，也有很多公司在使用，比如 Facebook、Vox、LiveJournal 等。

其實，Memecached 的緩存原理和 Redis 類似。所以接下來的內容，我會著重于你講述這兩個數據庫在支持的數據結構、持久化和主備同步上的不同。這樣，你可以對比著學習這兩個數據庫，也會理解得更全面、深入些。

首先，我要先帶你了解一下 Memcached 的集群結構。

redis 的集群結構是每個節點負責一部分哈希槽，且每個節點可以設計主備。與 Redis 不同，Memcached 集群采用一致性哈希的思路，使用的是 Ketama 算法。該算法的主要思想就是，帶虛擬節點的一致性哈希算法。

在實際應用中，每個物理節點對應 100~200 個虛擬節點，才能到達一個較好的存儲均衡。這里為了方便理解，我對 Memcached 的集群結構做了簡化，如下圖所示，物理節點 1 對應兩個虛擬節點 1-1、1-2，物理節點 2 對應三個虛擬節點 2-1、2-2 和 2-3。

 

 

采用帶虛擬節點的一致性哈希方法，有一個優點是，當添加或移除節點時，不會出現大規模的數據遷移。你可以再回顧下(數據分布方式之哈希與一致性哈希，我就是個神算子)

對于數據結構的支持，Memcached 僅支持簡單的 k/v 數據類型，如果想要存儲復雜的數據類型，比如 List、Set 和 Hash 等，需要客戶端自己處理，將其轉化為字符串然后進行存儲。這樣就導致了一個缺點，操作不靈活。比如，Memcached 存儲的數組中有一個元素需要修改，則需要將整個數組的數據取出來，修改后再整體寫入到數據庫中 。

而對于持久化，Memcached 是不支持的。這意味著斷電時，Memcached 中存儲的數據將會全部丟失。因為內存是一種易失性存儲設備，斷電后將不會存儲數據。

在 Memcached 中，服務器和服務器之間沒有任何通信，即自身不支持主備。如果想要實現高可用，需要通過第三方實現。比如，Repcached 實現了 Memcached 的復制功能，支持一主一備，從而使 Memcached 滿足高可用。

對比分析

上面，我以 Redis 和 Memcached 這兩個主流的分布式緩存系統為例，帶你學習了分布式緩存技術。接下來，我以一個表格對它們進行分析對比，以便于你理解和查閱。

 

 

總結

今天，我主要與你分享了分布式數據的緩存技術。

首先，我以水缸的例子帶你直觀了解了什么是緩存，并引出了什么是分布式數據緩存。分布式數據緩存是以內存作為磁盤的緩存，存儲一些用戶經常需要用的數據，以提高訪問速度。

其次，我以主流的 Redis 和 Memcached 為例，與你介紹了分布式緩存技術中的關鍵技術，包括支持的數據存儲結構(比如 k/v、Set、List 等)、持久化技術(包括快照方式等)和數據同步技術(具體技術原理，可參見分布式數據復制技術，今天就教你真正分身術)

最后，我再通過一張思維導圖來歸納一下今天的核心知識點吧。