在前面的一些文章中，從實戰(zhàn)的角度，講解了有關(guān) memcached的應(yīng)用、容災(zāi)、監(jiān)控等等。但是缺乏對理論的講解和原理性的剖析。本文將從理論的角度去介紹，讓大家從宏觀上對“分布式緩存、nosql”等技術(shù)有所了解，以便進一步學(xué)習(xí)和使用。在構(gòu)建大規(guī)模的web應(yīng)用時，緩存技術(shù)可以說是必備的，學(xué)習(xí)的必要性不言而喻。

分布式緩存概述

1.1 分布式緩存的特性

分布式緩存具有如下特性: 

1) 高性能:當(dāng)傳統(tǒng)數(shù)據(jù)庫面臨大規(guī)模數(shù)據(jù)訪問時,磁盤I/O 往往成為性能瓶頸,從而導(dǎo)致過高的響應(yīng)延遲.分布式緩存將高速內(nèi)存作為數(shù)據(jù)對象的存儲介質(zhì),數(shù)據(jù)以key/value 形式存儲,理想情況下可以獲得DRAM 級的讀寫性能; 

2) 動態(tài)擴展性:支持彈性擴展,通過動態(tài)增加或減少節(jié)點應(yīng)對變化的數(shù)據(jù)訪問負(fù)載,提供可預(yù)測的性能與擴展性;同時,***限度地提高資源利用率; 

3) 高可用性:可用性包含數(shù)據(jù)可用性與服務(wù)可用性兩方面.基于冗余機制實現(xiàn)高可用性,無單點失效(single point of failure),支持故障的自動發(fā)現(xiàn),透明地實施故障切換,不會因服務(wù)器故障而導(dǎo)致緩存服務(wù)中斷或數(shù)據(jù)丟失.動態(tài)擴展時自動均衡數(shù)據(jù)分區(qū),同時保障緩存服務(wù)持續(xù)可用; 

4) 易用性:提供單一的數(shù)據(jù)與管理視圖;API 接口簡單,且與拓?fù)浣Y(jié)構(gòu)無關(guān);動態(tài)擴展或失效恢復(fù)時無需人工配置;自動選取備份節(jié)點;多數(shù)緩存系統(tǒng)提供了圖形化的管理控制臺,便于統(tǒng)一維護; 

5) 分布式代碼執(zhí)行(distributed code execution):將任務(wù)代碼轉(zhuǎn)移到各數(shù)據(jù)節(jié)點并行執(zhí)行,客戶端聚合返回結(jié)果,從而有效避免了緩存數(shù)據(jù)的移動與傳輸.***的Java 數(shù)據(jù)網(wǎng)格規(guī)范JSR-347中加入了分布式代碼執(zhí)行與Map/reduce 的API 支持,各主流分布式緩存產(chǎn)品,如IBM WebSphere eXtreme Scale,VMware GemFire,GigaSpaces XAP 和Red Hat Infinispan 等也都支持這一新的編程模型. 

1.2 典型應(yīng)用場景 

分布式緩存的典型應(yīng)用場景可分為以下幾類: 

1) 頁面緩存.用來緩存Web 頁面的內(nèi)容片段,包括HTML、CSS 和圖片等,多應(yīng)用于社交網(wǎng)站等; 

2) 應(yīng)用對象緩存.緩存系統(tǒng)作為ORM 框架的二級緩存對外提供服務(wù),目的是減輕數(shù)據(jù)庫的負(fù)載壓力,加速應(yīng)用訪問; 

3) 狀態(tài)緩存.緩存包括Session 會話狀態(tài)及應(yīng)用橫向擴展時的狀態(tài)數(shù)據(jù)等,這類數(shù)據(jù)一般是難以恢復(fù)的,對可用性要求較高,多應(yīng)用于高可用集群; 

4) 并行處理.通常涉及大量中間計算結(jié)果需要共享; 

5) 事件處理.分布式緩存提供了針對事件流的連續(xù)查詢(continuous query)處理技術(shù),滿足實時性需求; 

6) 極限事務(wù)處理.分布式緩存為事務(wù)型應(yīng)用提供高吞吐率、低延時的解決方案,支持高并發(fā)事務(wù)請求處理,多應(yīng)用于鐵路、金融服務(wù)和電信等領(lǐng)域. 

1.3 分布式緩存的發(fā)展 

分布式緩存經(jīng)歷了多個發(fā)展階段,由最初的本地緩存到彈性緩存平臺直至彈性應(yīng)用平臺[8],目標(biāo)是朝著構(gòu)建更好的分布式系統(tǒng)方向發(fā)展(如下圖所示). 

1) 本地緩存:數(shù)據(jù)存儲在應(yīng)用代碼所在內(nèi)存空間.優(yōu)點是可以提供快速的數(shù)據(jù)訪問;缺點是數(shù)據(jù)無法分布式共享,無容錯處理.典型的,如Cache4j;

2) 分布式緩存系統(tǒng):數(shù)據(jù)在固定數(shù)目的集群節(jié)點間分布存儲.優(yōu)點是緩存容量可擴展(靜態(tài)擴展);缺點是擴展過程中需要大量配置,無容錯機制.典型的,如 Memcached;

3) 彈性緩存平臺:數(shù)據(jù)在集群節(jié)點間分布存儲,基于冗余機制實現(xiàn)高可用性.優(yōu)點是可動態(tài)擴展,具有容錯能力;缺點是復(fù)制備份會對系統(tǒng)性能造成一定影響.典型的,如 Windows Appfabric Caching;

4) 彈性應(yīng)用平臺:彈性應(yīng)用平臺代表了云環(huán)境下分布式緩存系統(tǒng)未來的發(fā)展方向.簡單地講,彈性應(yīng)用平臺是彈性緩存與代碼執(zhí)行的組合體,將業(yè)務(wù)邏輯代碼轉(zhuǎn)移到數(shù)據(jù)所在節(jié)點執(zhí)行,可以極大地降低數(shù)據(jù)傳輸開銷,提升系統(tǒng)性能.典型的,如 GigaSpaces XAP. 

1.4 分布式緩存與NoSQL 

NoSQL 又稱為Not Only Sql,主要是指非關(guān)系型、分布式、支持水平擴展的數(shù)據(jù)庫設(shè)計模式.NoSQL 放棄了傳統(tǒng)關(guān)系型數(shù)據(jù)庫嚴(yán)格的事務(wù)一致性和范式約束,采用弱一致性模型.相對于NoSQL 系統(tǒng),傳統(tǒng)數(shù)據(jù)庫難以滿足云環(huán)境下應(yīng)用數(shù)據(jù)的存儲需求,具體體現(xiàn)在以下3 個方面: 

1) 根據(jù)CAP 理論,一致性(consistency)、可用性(availability)和分區(qū)容錯(partition tolerance)這3 個要素最多同時滿足兩個,不可能三者兼顧.對云平臺中部署的大量Web 應(yīng)用而言,數(shù)據(jù)可用性與分區(qū)容錯的優(yōu)先級通常更高,所以一般會選擇適當(dāng)放松一致性約束.傳統(tǒng)數(shù)據(jù)庫的事務(wù)一致性需求制約了其橫向伸縮與高可用技術(shù)的實現(xiàn); 

2) 傳統(tǒng)數(shù)據(jù)庫難以適應(yīng)新的數(shù)據(jù)存儲訪問模式.Web 2.0 站點以及云平臺中存在大量半結(jié)構(gòu)化數(shù)據(jù),如用戶Session 數(shù)據(jù)、時間敏感的事務(wù)型數(shù)據(jù)、計算密集型任務(wù)數(shù)據(jù)等,這些狀態(tài)數(shù)據(jù)更適合以Key/Value 形式存儲,不需要RDBMS 提供的復(fù)雜的查詢與管理功能; 

3) NoSQL 提供低延時的讀寫速度,支持水平擴展,這些特性對擁有海量數(shù)據(jù)訪問請求的云平臺而言是至關(guān)重要的.傳統(tǒng)關(guān)系型數(shù)據(jù)無法提供同樣的性能,而內(nèi)存數(shù)據(jù)庫容量有限且不具備擴展能力.分布式緩存作為NoSQL 的一種重要實現(xiàn)形式,可為云平臺提供高可用的狀態(tài)存儲與可伸縮的應(yīng)用加速服務(wù),與其他NoSQL 系統(tǒng)間并無清晰的界限.平臺中應(yīng)用訪問與系統(tǒng)故障均具有不可預(yù)知性,為了更好地應(yīng)對這些挑戰(zhàn),應(yīng)用軟件在架構(gòu)時通常采用無狀態(tài)設(shè)計,大量狀態(tài)信息不再由組件、容器或平臺來管理,而是直接交  付給后端的分布式緩存服務(wù)或NoSQL 系統(tǒng). 

1.5 分布式緩存與極限事務(wù)處理 

隨著云計算與 Web 2.0 的進一步發(fā)展,許多企業(yè)或組織時常會面對***的需求:***的并發(fā)用戶訪問、每秒數(shù)以千計的并發(fā)事務(wù)處理、靈活的彈性與可伸縮性、低延時及7×24×365 可用性等.傳統(tǒng)事務(wù)型應(yīng)用面臨極限規(guī)模的并發(fā)事務(wù)處理,出現(xiàn)了極限事務(wù)處理型應(yīng)用,典型的有鐵路售票系統(tǒng).Wikipedia 認(rèn)為,極限事務(wù)處理是每秒多于500 事務(wù)或高于10 000 次并發(fā)訪問的事務(wù)處理[12].Gartner 將極限事務(wù)處理(extreme transactionprocessing,簡稱XTP)定義為一種為事務(wù)型應(yīng)用的開發(fā)、部署、管理和維護供支持的應(yīng)用模式,特點是對性能、可擴展性、可用性、可管理性等方面的極限需求.Gartner 在其報告中預(yù)測指出,極限事務(wù)處理型應(yīng)用的規(guī)模將由2005 年的10%提升至2010 年的20%,極限事務(wù)處理技術(shù)是未來5 年~10 年的熱點技術(shù).極限事務(wù)處理的引入,無疑給傳統(tǒng)Web 三層架構(gòu)帶來了新的挑戰(zhàn).即,如何在廉價的、標(biāo)準(zhǔn)化的硬件和軟件平臺之上,對大容量、業(yè)務(wù)關(guān)鍵型的事務(wù)處理應(yīng)用提供良好的支撐.分布式緩存作為一種關(guān)鍵的XTP 技術(shù),可為事務(wù)型應(yīng)用提供高吞吐率、低延時的技術(shù)解決方案.其延遲寫(write-behind)機制可提供更短的響應(yīng)時間,同時極大地降低數(shù)據(jù)庫的事務(wù)處理負(fù)載,分階段事件驅(qū)動架構(gòu)(staged event-driven architecture)可以支持大規(guī)模、高并發(fā)的事務(wù)處理請求.此外,分布式緩存在內(nèi)存中管理事務(wù)并提供數(shù)據(jù)的一致性保障,采用數(shù)據(jù)復(fù)制技術(shù)實現(xiàn)高可用性,具有較優(yōu)的擴展性與性能組合.

原文鏈接：http://blog.csdn.net/dinglang_2009/article/details/9071075

（作者：dinglang_2009）