分布式緩存系統(tǒng)Memcached入門指導(dǎo)
首先介紹一下，memcached 是由 Danga Interactive 開發(fā)并使用 BSD 許可的一種通用的分布式內(nèi)存緩存系統(tǒng)（題外話：最近，Memcached 項(xiàng)目將從 http://danga.com/memcached/ 正式轉(zhuǎn)向 http://memcached.org/）。這篇Memcached入門文章可以幫助讀者建立起對Memcached使用與性能的認(rèn)識。
Memcached示意圖（來自memcached.org）
Danga Interactive 開發(fā) memcached 的目的是創(chuàng)建一個(gè)內(nèi)存緩存系統(tǒng)來處理其網(wǎng)站 LiveJournal.com 的巨大流量。每天超過 2000 萬的頁面訪問量給 LiveJournal 的數(shù)據(jù)庫施加了巨大的壓力，因此 Danga 的 Brad Fitzpatrick 便著手設(shè)計(jì)了 memcached。memcached 不僅減少了網(wǎng)站數(shù)據(jù)庫的負(fù)載，還成為如今世界上大多數(shù)高流量網(wǎng)站所使用的緩存解決方案。
本文首先全面概述 memcached，然后指導(dǎo)您安裝 memcached 以及在開發(fā)環(huán)境中構(gòu)建它。我還將介紹 memcached 客戶機(jī)命令（總共有 9 個(gè)）并展示如何在標(biāo)準(zhǔn)和高級 memcached 操作中使用它們。最后，我將提供一些使用 memcached 命令測量緩存的性能和效率的技巧。
如何將 memcached 融入到您的環(huán)境中？
在開始安裝和使用 using memcached 之前，我們需要了解如何將 memcached 融入到您的環(huán)境中。雖然在任何地方都可以使用 memcached，但我發(fā)現(xiàn)需要在數(shù)據(jù)庫層中執(zhí)行幾個(gè)經(jīng)常性查詢時(shí)，memcached 往往能發(fā)揮最大的效用。我經(jīng)常會(huì)在數(shù)據(jù)庫和應(yīng)用服務(wù)器之間設(shè)置一系列 memcached 實(shí)例，并采用一種簡單的模式來讀取和寫入這些服務(wù)器。圖 1 可以幫助您了解如何設(shè)置應(yīng)用程序體系結(jié)構(gòu)：
圖 1. 使用 memcached 的示例應(yīng)用程序體系結(jié)構(gòu)
體系結(jié)構(gòu)相當(dāng)容易理解。我建立了一個(gè) Web 層，其中包括一些 Apache 實(shí)例。下一層是應(yīng)用程序本身。這一層通常運(yùn)行于 Apache Tomcat 或其他開源應(yīng)用服務(wù)器之上。再下面一層是配置 memcached 實(shí)例的地方 — 即應(yīng)用服務(wù)器與數(shù)據(jù)庫服務(wù)器之間。在使用這種配置時(shí)，需要采用稍微不同的方式來執(zhí)行數(shù)據(jù)庫的讀取和寫入操作。
讀取
我執(zhí)行讀取操作的順序是從 Web 層獲取請求（需要執(zhí)行一次數(shù)據(jù)庫查詢）并檢查之前在緩存中存儲(chǔ)的查詢結(jié)果。如果我找到所需的值，則返回它。如果未找到，則執(zhí)行查詢并將結(jié)果存儲(chǔ)在緩存中，然后再將結(jié)果返回給 Web 層。
寫入
將數(shù)據(jù)寫入到數(shù)據(jù)庫中時(shí)，首先需要執(zhí)行數(shù)據(jù)庫寫入操作，然后將之前緩存的任何受此寫入操作影響的結(jié)果設(shè)定為無效。此過程有助于防止緩存和數(shù)據(jù)庫之間出現(xiàn)數(shù)據(jù)不一致性。
安裝 memcached
memcached 支持一些操作系統(tǒng)，包括 Linux?、Windows?、Mac OS 和 Solaris。在本文中，我將詳細(xì)介紹如何通過源文件構(gòu)建和安裝 memcached。采用這種方式的主要原因是我在遇到問題時(shí)可以查看源代碼。
libevent
libevent 是安裝 memcached 的唯一前提條件。它是 memcached 所依賴的異步事件通知庫。您可以在 monkey.org 上找到關(guān)于 libevent 的源文件。接下來，找到其最新版本的源文件。對于本文，我們使用穩(wěn)定的 1.4.11 版本。獲取了歸檔文件之后，將它解壓到一個(gè)方便的位置，然后執(zhí)行清單 1 中的命令：
清單 1. 生成和安裝 libevent
cd libevent-1.4.11-stable/ ./configure make make install |
memcached
從 Danga Interactive 獲取 memcached 源文件，仍然選擇最新的分發(fā)版。在撰寫本文時(shí)，其最新版本是 1.4.0。將 tar.gz 解壓到方便的位置，并執(zhí)行清單 2 中的命令：
清單 2. 生成和安裝 memcached
cd memcached-1.4.0/ ./configure make make install |
完成這些步驟之后，您應(yīng)該安裝了一個(gè) memcached 工作副本，并且可以使用它了。讓我們進(jìn)行簡單介紹，然后使用它。
使用 memcached
要開始使用 memcached，您首先需要啟動(dòng) memcached 服務(wù)器，然后使用 telnet 客戶機(jī)連接到它。
要啟動(dòng) memcached，執(zhí)行清單 3 中的命令：
清單 3. 啟動(dòng) memcached
./memcached -d -m 2048 -l 10.0.0.40 -p 11211 |
這會(huì)以守護(hù)程序的形式啟動(dòng) memcached（-d），為其分配 2GB 內(nèi)存（-m 2048），并指定監(jiān)聽 localhost，即端口 11211。您可以根據(jù)需要修改這些值，但以上設(shè)置足以完成本文中的練習(xí)。接下來，您需要連接到 memcached。您將使用一個(gè)簡單的 telnet 客戶機(jī)連接到 memcached 服務(wù)器。
大多數(shù)操作系統(tǒng)都提供了內(nèi)置的 telnet 客戶機(jī)，但如果您使用的是基于 Windows 的操作系統(tǒng)，則需要下載第三方客戶機(jī)。我推薦使用 PuTTy。
安裝了 telnet 客戶機(jī)之后，執(zhí)行清單 4 中的命令：
清單 4. 連接到 memcached
telnet localhost 11211 |
如果一切正常，則應(yīng)該得到一個(gè) telnet 響應(yīng)，它會(huì)指示 Connected to localhost（已經(jīng)連接到 localhost）。如果未獲得此響應(yīng)，則應(yīng)該返回之前的步驟并確保 libevent 和 memcached 的源文件都已成功生成。
您現(xiàn)現(xiàn)已經(jīng)登錄到 memcached 服務(wù)器。此后，您將能夠通過一系列簡單的命令來與 memcached 通信。9 個(gè) memcached 客戶端命令可以分為三類：
- 基本
- 高級
- 管理
基本 memcached 客戶機(jī)命令
您將使用五種基本 memcached 命令執(zhí)行最簡單的操作。這些命令和操作包括：
- set
- add
- replace
- get
- delete
前三個(gè)命令是用于操作存儲(chǔ)在 memcached 中的鍵值對的標(biāo)準(zhǔn)修改命令。它們都非常簡單易用，且都使用清單 5 所示的語法：
清單 5. 修改命令語法
command |
表 1 定義了 memcached 修改命令的參數(shù)和用法。
表 1. memcached 修改命令參數(shù)
| 參數(shù) | 用法 |
|---|---|
| key | key 用于查找緩存值 |
| flags | 可以包括鍵值對的整型參數(shù)，客戶機(jī)使用它存儲(chǔ)關(guān)于鍵值對的額外信息 |
| expiration time | 在緩存中保存鍵值對的時(shí)間長度（以秒為單位，0 表示永遠(yuǎn)） |
| bytes | 在緩存中存儲(chǔ)的字節(jié)點(diǎn) |
| value | 存儲(chǔ)的值（始終位于第二行） |
現(xiàn)在，我們來看看這些命令的實(shí)際使用。
set
set 命令用于向緩存添加新的鍵值對。如果鍵已經(jīng)存在，則之前的值將被替換。
注意以下交互，它使用了 set 命令：
set userId 0 0 5 12345 STORED |
如果使用 set 命令正確設(shè)定了鍵值對，服務(wù)器將使用單詞 STORED 進(jìn)行響應(yīng)。本示例向緩存中添加了一個(gè)鍵值對，其鍵為 userId，其值為 12345。并將過期時(shí)間設(shè)置為 0，這將向 memcached 通知您希望將此值存儲(chǔ)在緩存中直到刪除它為止。
add
僅當(dāng)緩存中不存在鍵時(shí)，add 命令才會(huì)向緩存中添加一個(gè)鍵值對。如果緩存中已經(jīng)存在鍵，則之前的值將仍然保持相同，并且您將獲得響應(yīng) NOT_STORED。
下面是使用 add 命令的標(biāo)準(zhǔn)交互：
set userId 0 0 5 12345 STORED add userId 0 0 5 55555 NOT_STORED add companyId 0 0 3 564 STORED |
replace
僅當(dāng)鍵已經(jīng)存在時(shí)，replace 命令才會(huì)替換緩存中的鍵。如果緩存中不存在鍵，那么您將從 memcached 服務(wù)器接受到一條 NOT_STORED 響應(yīng)。
下面是使用 replace 命令的標(biāo)準(zhǔn)交互：
replace accountId 0 0 5 67890 NOT_STORED set accountId 0 0 5 67890 STORED replace accountId 0 0 5 55555 STORED |
最后兩個(gè)基本命令是 get 和 delete。這些命令相當(dāng)容易理解，并且使用了類似的語法，如下所示：
command |
接下來看這些命令的應(yīng)用。
get
get 命令用于檢索與之前添加的鍵值對相關(guān)的值。您將使用 get 執(zhí)行大多數(shù)檢索操作。
下面是使用 get 命令的典型交互：
set userId 0 0 5 12345 STORED get userId VALUE userId 0 5 12345 END get bob END |
如您所見，get 命令相當(dāng)簡單。您使用一個(gè)鍵來調(diào)用 get，如果這個(gè)鍵存在于緩存中，則返回相應(yīng)的值。如果不存在，則不返回任何內(nèi)容。
delete
最后一個(gè)基本命令是 delete。delete 命令用于刪除 memcached 中的任何現(xiàn)有值。您將使用一個(gè)鍵調(diào)用 delete，如果該鍵存在于緩存中，則刪除該值。如果不存在，則返回一條 NOT_FOUND 消息。
下面是使用 delete 命令的客戶機(jī)服務(wù)器交互：
set userId 0 0 5 98765 STORED delete bob NOT_FOUND delete userId DELETED get userId END |
高級 memcached 客戶機(jī)命令
可以在 memcached 中使用的兩個(gè)高級命令是 gets 和 cas。gets 和 cas 命令需要結(jié)合使用。您將使用這兩個(gè)命令來確保不會(huì)將現(xiàn)有的名稱/值對設(shè)置為新值（如果該值已經(jīng)更新過）。我們來分別看看這些命令。
gets
gets 命令的功能類似于基本的 get 命令。兩個(gè)命令之間的差異在于，gets 返回的信息稍微多一些：64 位的整型值非常像名稱/值對的 “版本” 標(biāo)識符。
下面是使用 gets 命令的客戶機(jī)服務(wù)器交互：
set userId 0 0 5 12345 STORED get userId VALUE userId 0 5 12345 END gets userId VALUE userId 0 5 4 12345 END |
考慮 get 和 gets 命令之間的差異。gets 命令將返回一個(gè)額外的值 — 在本例中是整型值 4，用于標(biāo)識名稱/值對。如果對此名稱/值對執(zhí)行另一個(gè) set 命令，則 gets 返回的額外值將會(huì)發(fā)生更改，以表明名稱/值對已經(jīng)被更新。清單 6 顯示了一個(gè)例子：
清單 6. set 更新版本指示符
set userId 0 0 5 33333 STORED gets userId VALUE userId 0 5 5 33333 END |
您看到 gets 返回的值了嗎？它已經(jīng)更新為 5。您每次修改名稱/值對時(shí)，該值都會(huì)發(fā)生更改。
cas
cas（check 和 set）是一個(gè)非常便捷的 memcached 命令，用于設(shè)置名稱/值對的值（如果該名稱/值對在您上次執(zhí)行 gets 后沒有更新過）。它使用與 set 命令相類似的語法，但包括一個(gè)額外的值：gets 返回的額外值。
注意以下使用 cas 命令的交互：
set userId 0 0 5 55555 STORED gets userId VALUE userId 0 5 6 55555 END cas userId 0 0 5 6 33333 STORED |
如您所見，我使用額外的整型值 6 來調(diào)用 gets 命令，并且操作運(yùn)行非常順序。現(xiàn)在，我們來看看清單 7 中的一系列命令：
清單 7. 使用舊版本指示符的 cas 命令
set userId 0 0 5 55555 STORED gets userId VALUE userId 0 5 8 55555 END cas userId 0 0 5 6 33333 EXISTS |
注意，我并未使用 gets 最近返回的整型值，并且 cas 命令返回 EXISTS 值以示失敗。從本質(zhì)上說，同時(shí)使用 gets 和 cas 命令可以防止您使用自上次讀取后經(jīng)過更新的名稱/值對。
緩存管理命令
最后兩個(gè) memcached 命令用于監(jiān)控和清理 memcached 實(shí)例。它們是 stats 和 flush_all 命令。
stats
stats 命令的功能正如其名：轉(zhuǎn)儲(chǔ)所連接的 memcached 實(shí)例的當(dāng)前統(tǒng)計(jì)數(shù)據(jù)。在下例中，執(zhí)行 stats 命令顯示了關(guān)于當(dāng)前 memcached 實(shí)例的信息：
stats STAT pid 63 STAT uptime 101758 STAT time 1248643186 STAT version 1.4.11 STAT pointer_size 32 STAT rusage_user 1.177192 STAT rusage_system 2.365370 STAT curr_items 2 STAT total_items 8 STAT bytes 119 STAT curr_connections 6 STAT total_connections 7 STAT connection_structures 7 STAT cmd_get 12 STAT cmd_set 12 STAT get_hits 12 STAT get_misses 0 STAT evictions 0 STAT bytes_read 471 STAT bytes_written 535 STAT limit_maxbytes 67108864 STAT threads 4 END |
此處的大多數(shù)輸出都非常容易理解。稍后在討論緩存性能時(shí)，我還將詳細(xì)解釋這些值的含義。至于目前，我們先來看看輸出，然后再使用新的鍵來運(yùn)行一些 set 命令，并再次運(yùn)行 stats 命令，注意發(fā)生了哪些變化。
flush_all
flush_all 是最后一個(gè)要介紹的命令。這個(gè)最簡單的命令僅用于清理緩存中的所有名稱/值對。如果您需要將緩存重置到干凈的狀態(tài)，則 flush_all 能提供很大的用處。下面是一個(gè)使用 flush_all 的例子：
set userId 0 0 5 55555 STORED get userId VALUE userId 0 5 55555 END flush_all OK get userId END |
緩存性能
在本文的最后，我將討論如何使用高級 memcached 命令來確定緩存的性能。stats 命令用于調(diào)優(yōu)緩存的使用。需要注意的兩個(gè)最重要的統(tǒng)計(jì)數(shù)據(jù)是 et_hits 和 get_misses。這兩個(gè)值分別指示找到名稱/值對的次數(shù)（get_hits）和未找到名稱/值對的次數(shù)（get_misses）。
結(jié)合這些值，我們可以確定緩存的利用率如何。初次啟動(dòng)緩存時(shí)，可以看到 get_misses 會(huì)自然地增加，但在經(jīng)過一定的使用量之后，這些 get_misses 值應(yīng)該會(huì)逐漸趨于平穩(wěn) — 這表示緩存主要用于常見的讀取操作。如果您看到 get_misses 繼續(xù)快速增加，而 get_hits 逐漸趨于平穩(wěn)，則需要確定一下所緩存的內(nèi)容是什么。您可能緩存了錯(cuò)誤的內(nèi)容。
確定緩存效率的另一種方法是查看緩存的命中率（hit ratio）。緩存命中率表示執(zhí)行 get 的次數(shù)與錯(cuò)過 get 的次數(shù)的百分比。要確定這個(gè)百分比，需要再次運(yùn)行 stats 命令，如清單 8 所示：
清單 8. 計(jì)算緩存命中率
stats STAT pid 6825 STAT uptime 540692 STAT time 1249252262 STAT version 1.2.6 STAT pointer_size 32 STAT rusage_user 0.056003 STAT rusage_system 0.180011 STAT curr_items 595 STAT total_items 961 STAT bytes 4587415 STAT curr_connections 3 STAT total_connections 22 STAT connection_structures 4 STAT cmd_get 2688 STAT cmd_set 961 STAT get_hits 1908 STAT get_misses 780 STAT evictions 0 STAT bytes_read 5770762 STAT bytes_written 7421373 STAT limit_maxbytes 536870912 STAT threads 1 END |
現(xiàn)在，用 get_hits 的數(shù)值除以 cmd_gets。在本例中，您的命中率大約是 71%。在理想情況下，您可能希望得到更高的百分比 — 比率越高越好。查看統(tǒng)計(jì)數(shù)據(jù)并不時(shí)測量它們可以很好地判定緩存策略的效率。
結(jié)束語
緩存是任何海量 Web 應(yīng)用程序不可或缺的部分。我自己成功使用過它好幾次。如果您選擇使用 memcached 作為緩存解決方案，那么我敢保證您可以看到它的效率如何。
【編輯推薦】
