聊聊本地緩存和分布式緩存
緩存，消息隊列，分庫分表是高并發解決方案三劍客。
緩存之所以能夠讓系統“更快”，本質上做到了如下兩點：
- 減小 CPU 消耗
將原來需要實時計算的內容提前算好、把一些公用的數據進行復用，這可以減少 CPU 消耗，從而提升響應性能。 - 減小 I/O 消耗
將原來對網絡、磁盤等較慢介質的讀寫訪問變為對內存等較快介質的訪問，從而提升響應性能。
對于應用系統來講，我們經常將緩存劃分為本地緩存和分布式緩存。
本地緩存 ：應用中的緩存組件，緩存組件和應用在同一進程中，緩存的讀寫非常快，沒有網絡開銷。但各應用或集群的各節點都需要維護自己的單獨緩存，無法共享緩存。
分布式緩存：和應用分離的緩存組件或服務，與本地應用隔離，多個應用可直接共享緩存。
這篇文章，聊聊本地緩存和分布式緩存，希望大家讀完之后，在面對不同的業務場景時，能夠做出合理的緩存選型。
一、本地緩存 JDK Map
JDK Map 經常用于緩存實現：
- HashMap
HashMap 是一種基于哈希表的集合類，它提供了快速的插入、查找和刪除操作。可以將鍵值對作為緩存項的存儲方式，將鍵作為緩存項的唯一標識符，值作為緩存項的內容。 - ConcurrentHashMap
ConcurrentHashMap 是線程安全的 HashMap，它在多線程環境下可以保證高效的并發讀寫操作。 - LinkedHashMap
LinkedHashMap 是一種有序的 HashMap ，它保留了元素插入的順序，可以按照插入順序或者訪問順序進行遍歷。 - TreeMap
TreeMap 是一種基于紅黑樹的有序 Map，它可以按照鍵的順序進行遍歷。
筆者曾經負責藝龍紅包系統，紅包活動就是存儲在 ConcurrentHashMap 中 ，通過定時任務刷新緩存 。
核心流程：
1、紅包系統啟動后，初始化一個 ConcurrentHashMap 作為紅包活動緩存 ；
2、數據庫查詢所有的紅包活動 , 并將活動信息存儲在 Map 中 ;
3、定時任務每隔 30 秒 ，執行緩存加載方法，刷新緩存。
為什么紅包系統會將紅包活動信息存儲在本地內存 ConcurrentHashMap 呢 ？
- 紅包系統是高并發應用，快速將請求結果響應給前端，大大提升用戶體驗；
- 紅包活動數量并不多，就算全部放入到 Map 里也不會產生內存溢出的問題；
- 定時任務刷新緩存并不會影響紅包系統的業務。
筆者見過很多單體應用都使用這種方案，該方案的特點是簡潔易用，工程實現也容易 。
二、本地緩存框架
雖然使用 JDK Map 能快捷構建緩存，但緩存的功能還是比較孱弱的。
因為現實場景里，我們可能需要給緩存添加緩存統計、過期失效、淘汰策略等功能。
于是，本地緩存框架應運而生。
流行的 Java 緩存框架包括：Ehcache , Google Guava , Caffeine Cache 。
下圖展示了 Caffeine 框架的使用示例。
雖然本地緩存框架的功能很強大，但是本地緩存的缺陷依然明顯。
1、高并發的場景，應用重啟之后，本地緩存就失效了，系統的負載就比較大，需要花較長的時間才能恢復；
2、每個應用節點都會維護自己的單獨緩存，緩存同步比較頭疼。
三、分布式緩存
分布式緩存是指將緩存數據分布在多臺機器上，以提高緩存容量和并發讀寫能力的緩存系統。分布式緩存通常由多臺機器組成一個集群，每臺機器上都運行著相同的緩存服務進程，緩存數據被均勻地分布在集群中的各個節點上。
Redis 是分布式緩存的首選，甚至我們一提到緩存，很多后端工程師首先想到的就它。
下圖是神州專車訂單的 Redis 集群架構 。將 Redis 集群拆分成四個分片，每個分片包含一主一從，主從可以切換。應用 A 根據不同的緩存 key 訪問不同的分片。
與本地緩存相比，分布式緩存具有以下優點：
1、容量和性能可擴展
通過增加集群中的機器數量，可以擴展緩存的容量和并發讀寫能力。同時，緩存數據對于應用來講都是共享的。
2、高可用性
由于數據被分布在多臺機器上，即使其中一臺機器故障，緩存服務也能繼續提供服務。
但是分布式緩存的缺點同樣不容忽視。
1、網絡延遲
分布式緩存通常需要通過網絡通信來進行數據讀寫，可能會出現網絡延遲等問題，相對于本地緩存而言，響應時間更長。
2、復雜性
分布式緩存需要考慮序列化、數據分片、緩存大小等問題，相對于本地緩存而言更加復雜。
舉一個真實的案例，這次案例讓筆者對于分布式緩存的認知提上了另一個臺階。
2014年，同事開發了比分直播的系統，所有的請求都是從分布式緩存 Memcached 中獲取后直接響應。常規情況下，從緩存中查詢數據非常快，但在線用戶稍微多一點，整個系統就會特別卡。
通過 jstat 命令發現 GC 頻率極高，幾次請求就將新生代占滿了，而且 CPU 的消耗都在 GC 線程上。初步判斷是緩存值過大導致的，果不其然，緩存大小在 300k 到 500k 左右。
解決過程還比較波折，分為兩個步驟：
- 修改新生代大小，從原來的 2G 修改成 4G，并精簡緩存數據大小 (從平均 300k 左右降為 80k 左右)；
- 把緩存拆成兩個部分，第一部分是全量數據，第二部分是增量數據（數據量很小）。頁面第一次請求拉取全量數據，當比分有變化的時候，通過 websocket 推送增量數據。
經過這次優化，筆者理解到：緩存雖然可以提升整體速度，但是在高并發場景下，緩存對象大小依然是需要關注的點，稍不留神就會產生事故。另外我們也需要合理地控制讀取策略，最大程度減少 GC 的頻率 , 從而提升整體性能。
四、多級緩存
開源中國網站最開始完全是用本地緩存框架 Ehcache 。后來隨著訪問量的激增，出現了一個可怕的問題：“因為 Java 程序更新很頻繁，每次更新的時候都要重啟。一旦重啟后，整個 Ehcache 緩存里的數據都被清掉。重啟后若大量訪問進來的話，開源中國的數據庫基本上很快就會崩掉”。
于是，開源中國開發了多級緩存框架 J2Cache，使用了多級緩存 Ehcache + Redis 。
多級緩存有如下優勢：
- 離用戶越近，速度越快；
- 減少分布式緩存查詢頻率，降低序列化和反序列化的 CPU 消耗；
- 大幅度減少網絡 IO 以及帶寬消耗。
本地緩存做為一級緩存，分布式緩存做為二級緩存，首先從一級緩存中查詢，若能查詢到數據則直接返回，否則從二級緩存中查詢，若二級緩存中可以查詢到數據，則回填到一級緩存中，并返回數據。若二級緩存也查詢不到，則從數據源中查詢，將結果分別回填到一級緩存，二級緩存中。
2018年，筆者服務的一家電商公司需要進行 app 首頁接口的性能優化。筆者花了大概兩天的時間完成了整個方案，采取的是兩級緩存模式，同時利用了 Guava 的惰性加載機制，整體架構如下圖所示：
緩存讀取流程如下：
1、業務網關剛啟動時，本地緩存沒有數據，讀取 Redis 緩存，如果 Redis 緩存也沒數據，則通過 RPC 調用導購服務讀取數據，然后再將數據寫入本地緩存和 Redis 中；若 Redis 緩存不為空，則將緩存數據寫入本地緩存中。
2、由于步驟1已經對本地緩存預熱，后續請求直接讀取本地緩存，返回給用戶端。
3、Guava 配置了 refresh 機制，每隔一段時間會調用自定義 LoadingCache 線程池（5個最大線程，5個核心線程）去導購服務同步數據到本地緩存和 Redis 中。
優化后，性能表現很好，平均耗時在 5ms 左右。最開始我以為出現問題的幾率很小，可是有一天晚上，突然發現 app 端首頁顯示的數據時而相同，時而不同。
也就是說：雖然 LoadingCache 線程一直在調用接口更新緩存信息，但是各個 服務器本地緩存中的數據并非完成一致。說明了兩個很重要的點：
1、惰性加載仍然可能造成多臺機器的數據不一致
2、LoadingCache 線程池數量配置的不太合理, 導致了線程堆積
最終，我們的解決方案是：
1、惰性加載結合消息機制來更新緩存數據，也就是：當導購服務的配置發生變化時，通知業務網關重新拉取數據，更新緩存。
2、適當調大 LoadigCache 的線程池參數，并在線程池埋點，監控線程池的使用情況，當線程繁忙時能發出告警，然后動態修改線程池參數。
五、總結
Fred Brooks 在 1987 年所發表的一篇關于軟件工程的經典論文《沒有銀彈：軟件工程的本質性與附屬性工作》。
論文強調真正的銀彈并不存在，而所謂的銀彈則是指沒有任何一項技術或方法可以能讓軟件工程的生產力在十年內提高十倍。
通俗來講：在技術領域中沒有一種通用的解決方案可以解決所有問題。技術本質上是為了解決問題而存在的，每個問題都有其獨特的環境和限制條件，沒有一種通用的技術或工具可以完美地解決所有問題。
緩存是把雙刃劍，一方面我們享受緩存帶來的系統性能提升，另一方面引入緩存會提高系統復雜度，因為你要考慮緩存的失效、更新、一致性等問題。
在面臨緩存選型時，一定要結合業務場景，研發效率，運維成本，人力模型，技術儲備等因素，做出合理的選擇。
