一文帶你看透本質—Redis的三種集群方式+穿透與雪崩的預防和解決
Redis的三種集群方式概述
1、主從復制
原理
- 從服務器連接主服務器，發送SYNC(同步)命令;
- 主服務器接收到SYNC命名后，開始執行BGSAVE命令生成RDB文件并使用緩沖區記錄此后執行的所有寫命令;
- 主服務器BGSAVE執行完后，向所有從服務器發送快照文件，并在發送期間繼續記錄被執行的寫命令;
- 從服務器收到快照文件后丟棄所有舊數據，載入收到的快照;
- 主服務器快照發送完畢后開始向從服務器發送緩沖區中的寫命令;
- 從服務器完成對快照的載入，開始接收命令請求，并執行來自主服務器緩沖區的寫命令;(從服務器初始化完成)
- 主服務器每執行一個寫命令就會向從服務器發送相同的寫命令，從服務器接收并執行收到的寫命令(從服務器初始化完成后的操作)
優點
- 支持主從復制，主機會自動將數據同步到從機，可以進行讀寫分離
- 為了分載Master的讀操作壓力，Slave服務器可以為客戶端提供只讀操作的服務，寫服務仍然必須由Master來完成
- Slave同樣可以接受其它Slaves的連接和同步請求，這樣可以有效的分載Master的同步壓力。
- Master Server是以非阻塞的方式為Slaves提供服務。所以在Master-Slave同步期間，客戶端仍然可以提交查詢或修改請求。
- Slave Server同樣是以非阻塞的方式完成數據同步。在同步期間，如果有客戶端提交查詢請求，Redis則返回同步之前的數據
缺點
Redis不具備自動容錯和恢復功能，主機從機的宕機都會導致前端部分讀寫請求失敗，需要等待機器重啟或者手動切換前端的IP才能恢復。
主機宕機，宕機前有部分數據未能及時同步到從機，切換IP后還會引入數據不一致的問題，降低了系統的可用性。
Redis較難支持在線擴容，在集群容量達到上限時在線擴容會變得很復雜。
2、哨兵模式
原理
當主服務器中斷服務后，可以將一個從服務器升級為主服務器，以便繼續提供服務，但是這個過程需要人工手動來操作。 為此，Redis 2.8中提供了哨兵工具來實現自動化的系統監控和故障恢復功能。
哨兵的作用就是監控Redis系統的運行狀況。它的功能包括以下兩個。
(1)監控主服務器和從服務器是否正常運行。
(2)主服務器出現故障時自動將從服務器轉換為主服務器。
工作方式
- 每個Sentinel(哨兵)進程以每秒鐘一次的頻率向整個集群中的Master主服務器，Slave從服務器以及其他Sentinel(哨兵)進程發送一個 PING 命令。
- 如果一個實例(instance)距離最后一次有效回復 PING 命令的時間超過 down-after-milliseconds 選項所指定的值， 則這個實例會被 Sentinel(哨兵)進程標記為主觀下線(SDOWN)
- 如果一個Master主服務器被標記為主觀下線(SDOWN)，則正在監視這個Master主服務器的所有 Sentinel(哨兵)進程要以每秒一次的頻率確認Master主服務器的確進入了主觀下線狀態
- 當有足夠數量的 Sentinel(哨兵)進程(大于等于配置文件指定的值)在指定的時間范圍內確認Master主服務器進入了主觀下線狀態(SDOWN)， 則Master主服務器會被標記為客觀下線(ODOWN)
- 在一般情況下， 每個 Sentinel(哨兵)進程會以每 10 秒一次的頻率向集群中的所有Master主服務器、Slave從服務器發送 INFO 命令。
- 當Master主服務器被 Sentinel(哨兵)進程標記為客觀下線(ODOWN)時，Sentinel(哨兵)進程向下線的 Master主服務器的所有 Slave從服務器發送 INFO 命令的頻率會從 10 秒一次改為每秒一次。
- 若沒有足夠數量的 Sentinel(哨兵)進程同意 Master主服務器下線， Master主服務器的客觀下線狀態就會被移除。若 Master主服務器重新向 Sentinel(哨兵)進程發送 PING 命令返回有效回復，Master主服務器的主觀下線狀態就會被移除。
優點
- 哨兵模式是基于主從模式的，所有主從的優點，哨兵模式都具有。
- 主從可以自動切換，系統更健壯，可用性更高。
缺點
Redis較難支持在線擴容，在集群容量達到上限時在線擴容會變得很復雜。
3、Redis-Cluster集群
原理
redis的哨兵模式基本已經可以實現高可用，讀寫分離 ，但是在這種模式下每臺redis服務器都存儲相同的數據，很浪費內存，所以在redis3.0上加入了cluster模式，實現的redis的分布式存儲，也就是說每臺redis節點上存儲不同的內容。
Redis-Cluster采用無中心結構,它的特點如下
所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬。
節點的fail是通過集群中超過半數的節點檢測失效時才生效。
客戶端與redis節點直連,不需要中間代理層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可。
工作方式
在redis的每一個節點上，都有這么兩個東西，一個是插槽(slot)，它的的取值范圍是：0-16383。還有一個就是cluster，可以理解為是一個集群管理的插件。當我們的存取的key到達的時候，redis會根據crc16的算法得出一個結果，然后把結果對 16384 求余數，這樣每個 key 都會對應一個編號在 0-16383 之間的哈希槽，通過這個值，去找到對應的插槽所對應的節點，然后直接自動跳轉到這個對應的節點上進行存取操作。
為了保證高可用，redis-cluster集群引入了主從模式，一個主節點對應一個或者多個從節點，當主節點宕機的時候，就會啟用從節點。當其它主節點ping一個主節點A時，如果半數以上的主節點與A通信超時，那么認為主節點A宕機了。如果主節點A和它的從節點A1都宕機了，那么該集群就無法再提供服務了
redis中穿透與雪崩的預防及解決
認識緩存穿透
緩存穿透是指查詢一個一定不存在的數據，由于緩存是不命中時需要從數據庫查詢，查不到數據則不寫入緩存，這將導致這個不存在的數據每次請求都要到數據庫去查詢，造成緩存穿透。
解決辦法
- 對所有可能查詢的參數以hash形式存儲，在控制層先進行校驗，不符合則丟棄。還有最常見的則是采用布隆過濾器，將所有可能存在的數據哈希到一個足夠大的bitmap中，一個一定不存在的數據會被這個bitmap攔截掉，從而避免了對底層存儲系統的查詢壓力。
- 也可以采用一個更為簡單粗暴的方法，如果一個查詢返回的數據為空(不管是數 據不存在，還是系統故障)，我們仍然把這個空結果進行緩存，但它的過期時間會很短，最長不超過五分鐘。
認識緩存雪崩
如果緩存集中在一段時間內失效，發生大量的緩存穿透，所有的查詢都落在數據庫上，造成了緩存雪崩。
這個沒有完美解決辦法，但可以分析用戶行為，盡量讓失效時間點均勻分布。大多數系統設計者考慮用加鎖或者隊列的方式保證緩存的單線程(進程)寫，從而避免失效時大量的并發請求落到底層存儲系統上。
解決方法
- 在緩存失效后，通過加鎖或者隊列來控制讀數據庫寫緩存的線程數量。比如對某個key只允許一個線程查詢數據和寫緩存，其他線程等待。
- 可以通過緩存reload機制，預先去更新緩存，再即將發生大并發訪問前手動觸發加載緩存
- 不同的key，設置不同的過期時間，讓緩存失效的時間點盡量均勻
- 做二級緩存，或者雙緩存策略。A1為原始緩存，A2為拷貝緩存，A1失效時，可以訪問A2，A1緩存失效時間設置為短期，A2設置為長期。
以上就是我所整理的關于Redis的集群方式及緩存，歡迎大家批評指正。
程序員找出路還是要盡量提前進行職業規劃和準備，千萬不要說什么：“走一步，算一步”的話。在這個一睜眼就是競爭的時代，你可以放松休息，但別人會繼續前進，不會等你。
有一句老話說的好：“比你優秀的對手在學習，你的仇人在磨刀，你的閨蜜在減肥，隔壁老王在練腰，我們必須不斷學習，否則我們將被學習者超越。”
