Labs 導讀

緩存技術在高流量、大并發的應用服務中是一把利器，使用緩存可以降低數據庫訪問壓力、提高接口響應速度。緩存技術分為本地緩存和分布式緩存，二者各有利弊。本地緩存無法在集群中進行共享，存在應用服務重啟數據丟失、需要重新預熱加載的問題，而分布式緩存如redis、Memcached可以解決此類問題。但是由于本地緩存沒有分布式緩存的網絡io耗時和集中化依賴問題，依然在很多業務場景中有著獨到的應用。本文主要介紹現有的主流本地緩存技術以及挑戰，并提出一種自研本地緩存技術。

Part 01、本地緩存使用場景 

在程序中，有些表數據，數據量有限，但是程序啟動就會馬上訪問，并且訪問的很頻繁，比如（例如配置參數，區域信息）。針對這種情況，可以將數據放到程序的本地緩存中即內存中，從而提高系統的訪問效率、減少數據庫訪問。此外，相比本地緩存，數據庫訪問、分布式緩存會占用連接，存在網絡消耗，本地緩存只需要考慮緩存占用的內存空間、緩存的失效策略。數據庫、本地緩存及分布式緩存的區別如下表所示：

Part 02、現狀和挑戰 

2.1 Map

Map是一種k-v數據結構，非常方便于自己實現本地緩存，比如使用HashMap全局變量，主要需要考慮啟動或調用時加載數據、線程安全、內存泄漏、內存溢出等問題。常用的ConcurrentHashMap通過Node數組、鏈表、紅黑樹等數據結構，實現數據分段和鎖保護，兼顧了訪問性能和安全性。

此外，自己實現本地緩存好處在于，可以靈活控制緩存寫入時機，可以結合業務應用的啟動時機、通知機制或調用，自己控制未命中時查詢并寫入還是服務啟動時就全量預熱。

但是，通過Map自研實現本地緩存，需要顯式刪除才能將數據從緩存中清理；如果不考慮內存大小限制，一旦候選緩存數據量很大，容易出現內存溢出問題，造成服務崩潰造成重大線上問題，而自研實現緩存限制策略又增加了復雜性和維護風險。因此，要不要自研實現本地緩存，需要綜合考慮待緩存數據量與技術難度風險。

2.2 Guava Cache

Guava Cache是google實現的開源本地緩存技術，開箱即用，解決了實際應用中遇到的大多問題，是常用的本地緩存技術。構建一個本地緩存實例示例代碼如下：

Guava cache類似于concurrentHashMap，但是與之不同的是，concurrentHashMap需要顯式地刪除緩存，同時難以控制對本地內存的使用量。在緩存失效策略和本地內存占用控制方面，GuavaCache都有靈活的可選擇控制策略。

2.3 緩存失效策略

2.3.1基于大小的失效策略

2.3.2基于時間的失效策略

2.3.3基于引用的失效

此外，GuavaCache支持本地緩存對象刪除的監聽機制，在實際應用中，可以通過分析key刪除的原因，綜合評價本地緩存大小和失效策略設計的合理性，方便進一步優化本地緩存設置。

2.4 Caffeine

Caffeine cache與Guava cache非常類似，比如上面講到的guava cache三大類過期策略，caffeine都有。但是由于Guava cache基于LRU淘汰算法，而Caffeine 因為使用了 Window-TinyLFU 緩存淘汰策略，提供了一個近乎最佳的命中率，綜合了 LRU 和 LFU 算法的長處，使其成為本地緩存之王。

Window-TinyLFU算法原理如上圖所示，基本原理是將Cache分成了幾個區，新數據放到Window Cache，滿了之后使用LRU進行晉升Probation Cache，然后再根據TinyLYU算法決定是否再次晉級，或者淘汰，詳細的晉升和淘汰機制可以百度學習。看到這里，是不是覺得這套算法邏輯頗像JVM的分代回收算法，果然分區而治才是王道。

Caffeine封神除了淘汰算法無敵之外，還提供了AsyncLoadingCache，可以自定義線程池，多線程異步的好處在于調用方可以針對某些獲取源數據耗時選擇阻塞等待或非阻塞，防止因為某些少量超時導致load阻塞問題。

Caffeine還內置了統計功能，通過Caffeine.recordStats()打開數據收集，然后Cache.stats()方法將會返回當前緩存的一些統計指標，例如：

• hitRate()：查詢緩存的命中率
• evictionCount()：被驅逐的緩存數量
• averageLoadPenalty()：新值被載入的平均耗時

不過開啟統計功能會有一些性能損耗，這個需要具體評估。

Part 03、自研本地緩存技術 

上述介紹的中間件技術，基本可以滿足絕大多數開發場景，但是在實際應用中，經常遇到需要全量緩存表數據的場景，比如規則引擎中配置的通用規則，告警過濾規則等，這種基于全量預熱數據的本地緩存需求，主要要求緩存更新的實時性與數據完整性，與上述基于key-value命中的緩存機制不太相符，因此這里介紹一種自研的緩存全量數據的本地緩存技術。

該技術是要緩存表中全量有效數據，基于三個關鍵的表設計字段：update_time（更新時間）、status（數據狀態）、unique_key（表征數據唯一或通過計算保證唯一的字段），通過內置的單線程定時任務，實現本地緩存的增量更新和全量更新，同時兼顧了緩存更新的時效性和準確性，由于不需要依賴其他中間件，可以有效應用在所有的業務系統中。基本原理如下圖所示：

1.服務啟動時執行一次全量數據加載，開啟定時任務，并記錄當前時間t0為全量更新時間t1和增量更新時間t2。

2.每次定時任務執行時，如果(當前時間t-上次全量更新時間t1)>全量更新時間閾值max1，則執行一次全量數據對齊，并刷新全量更新時間t1=t。當然這個策略看實際需求是否有必要。

3.如果未觸發全量更新，會增量查詢 (當前時間t-上次增量更新時間t2)時間區間內表中更新數據，并更新t2=t。

4.如果第3步查詢到有更新數據，則增量更新到本地緩存（要求表設計為邏輯刪除）。

5.定時任務不斷重復2~4步驟即可。

Part 04、總結 

本地緩存是服務開發者做性能優化的重要技術手段之一，本篇介紹了常用的幾種本地緩存技術方案。本著拿來主義的原則，通過需求場景評估后，如果這些成熟的本地緩存中間件能夠滿足需求，則優先選用，如guava cache, caffeine。自己實現的好處在于能夠靈活控制本地緩存讀、寫、失效、監聽等各種時機，可以更加深入融合實際需求，但也存在內存控制、內存泄漏、并發問題等挑戰，所以需要綜合評判。