淺談關(guān)系型數(shù)據(jù)庫中的壓縮技術(shù)
計算機存儲的容量限制仍然日益成為IT系統(tǒng)的瓶頸。其主要原因有兩個：第一，信息革命導(dǎo)致人們產(chǎn)生了比過去多得多的數(shù)據(jù)。巨大的數(shù)據(jù)庫系統(tǒng)每時每刻都在產(chǎn)生海量的新數(shù)據(jù)。第二，隨著計算機存儲能力的增長，人們傾向于永久性保存所有的數(shù)據(jù)。例如，在信息革命早期，證券交易系統(tǒng)往往只保存近一段時間的交易細(xì)節(jié)數(shù)據(jù)。如今，人們傾向于保存所有能夠被保存的數(shù)據(jù)：每一次交易，每一通電話，網(wǎng)站的每一次點擊，交換機中的每一回通信等。
在這種趨勢下，計算機存儲承擔(dān)著越來越沉重的壓力。尤其是在企業(yè)級應(yīng)用中，為了保存海量數(shù)據(jù)而在存儲上投入的成本，往往已經(jīng)到了令人吃驚的地步。
在數(shù)據(jù)庫中使用壓縮技術(shù)，是為了解決(或者至少緩解)這種壓力所做出的努力之一。這種技術(shù)的定義十分簡單：對存儲在數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行壓縮，從而減少占用的磁盤空間，同時又盡量不影響數(shù)據(jù)庫的其他操作。
很容易想象這一技術(shù)產(chǎn)生的后果。被壓縮后的數(shù)據(jù)能夠顯著地減少占用的磁盤空間，從而降低整個系統(tǒng)的存儲成本。然而對數(shù)據(jù)進(jìn)行壓縮和解壓縮，需要更多的CPU時間。在對速度要求十分苛刻的數(shù)據(jù)庫系統(tǒng)中，這種CPU時間的額外支出，是否會導(dǎo)致效率的嚴(yán)重降低呢?
讓我們?nèi)娴貙徱晧嚎s技術(shù)引起的得失。在CPU時間上，會有額外的支出。但是，由于壓縮后的數(shù)據(jù)占用的磁盤空間減少了，這意味著系統(tǒng)用于I/O的時間也會相應(yīng)的減少。眾所周知，數(shù)據(jù)庫系統(tǒng)最大的瓶頸在于I/O：I/O速度的增長卻遠(yuǎn)遠(yuǎn)跟不上CPU按照摩爾定律的增長。因此，從CPU時間上支出的成本，可以在I/O速度的提高上補償回來，而且還可能有盈余。壓縮后的數(shù)據(jù)庫，不但會占用更少的磁盤空間，甚至還可能有更快的速度。
然而在實際項目中，還要考慮到多種因素的權(quán)衡，情況可能會非常復(fù)雜。幸運的是，主流的幾種關(guān)系數(shù)據(jù)庫在實踐中都已經(jīng)正式支持壓縮技術(shù)。目前，數(shù)據(jù)庫壓縮技術(shù)主要仍然被應(yīng)用于數(shù)據(jù)密集型的OLAP，而不是運算密集型的OLTP，但這并不意味著它不能被應(yīng)用于OLTP。
壓縮方式
目前，幾乎所有的關(guān)系型數(shù)據(jù)庫中應(yīng)用的壓縮方式，都是基于字典的壓縮方式。基本原理是，將數(shù)據(jù)中重復(fù)出現(xiàn)的信息抽取出來，并用比較簡短的符號予以代替，從而達(dá)到壓縮的效果。舉例來說，如果數(shù)據(jù)中重復(fù)出現(xiàn)了“Personal Computer”這個字符串，那么它就會被識別為一個模式(Pattern)，然后所有這個字符串出現(xiàn)的地方都會被一個對應(yīng)的符號(Symbol)代替，比如數(shù)字1。所有的模式和對應(yīng)的符號都會被存儲在字典里面(Dictionary)，字典被用于壓縮和解壓縮(也就是對Pattern和Symbol進(jìn)行相互替換)。當(dāng)然，真實的應(yīng)用比這要復(fù)雜得多。但是，理解了字典壓縮的原理以后，我們已經(jīng)可以從不同的角度對不同的壓縮技術(shù)進(jìn)行區(qū)分。
- 按建立字典的方式區(qū)分：手工建立字典和自動建立字典。手工建立字典，意味著數(shù)據(jù)庫不能自動搜索數(shù)據(jù)中的重復(fù)數(shù)據(jù)，必須人工輸入所有的模式才能建立字典。這種方式出現(xiàn)在數(shù)據(jù)庫壓縮技術(shù)的早期，目前已經(jīng)基本被淘汰。自動建立字典則意味著數(shù)據(jù)庫會自動搜索模式而無需人工干預(yù)。
- 按字典應(yīng)用的范圍區(qū)分：表級別的字典和塊級別的字典。表級別的字典意味著在整個表的范圍內(nèi)搜索模式并建立一個唯一的字典，而塊級別的字典則在每一個塊上建立單獨的字典。其中，塊是關(guān)系型數(shù)據(jù)庫中的一個術(shù)語，是存儲的最小單位。
- 按存儲的方式區(qū)分：列壓縮和行壓縮。這涉及列存儲和行存儲的概念。行存儲表示數(shù)據(jù)庫中包含不同字段的同一行被連續(xù)存放。列存儲則表示包含不同行的同一字段數(shù)據(jù)被連續(xù)存放。同一字段的數(shù)據(jù)出現(xiàn)重復(fù)的可能性較大，這意味著基于列的壓縮可能有更高的效率，但這和傳統(tǒng)關(guān)系型數(shù)據(jù)庫的存儲方式相悖。由于二者互有利弊，數(shù)據(jù)庫廠商往往通過一些技巧來避免其缺陷，使之適應(yīng)實際使用，甚至混合使用這兩種壓縮方式。
壓縮相關(guān)的操作
雖然關(guān)系型數(shù)據(jù)庫使用的壓縮算法本身不太復(fù)雜，但是由于壓縮技術(shù)改變了數(shù)據(jù)存儲的底層結(jié)構(gòu)，因此涉及數(shù)據(jù)庫操作的方方面面。下面是一些主要的相關(guān)操作：
- 數(shù)據(jù)查詢。當(dāng)接收到查詢請求時，數(shù)據(jù)庫系統(tǒng)從磁盤中讀取已被壓縮的數(shù)據(jù)，必須先經(jīng)過一個解壓的過程，將數(shù)據(jù)還原為未壓縮的形式，再返回給查詢請求。
- 數(shù)據(jù)更新。當(dāng)進(jìn)行Insert和Update操作時，數(shù)據(jù)需要經(jīng)過壓縮之后才被存儲。理論上來說，Delete操作只需要簡單地刪除數(shù)據(jù)，而無需進(jìn)行壓縮或解壓縮。但是事實上，在某些自適應(yīng)的壓縮技術(shù)中，對已有數(shù)據(jù)的更新到達(dá)某一閾值時，會導(dǎo)致字典的自動更新(因為字典已經(jīng)不能再適應(yīng)當(dāng)前的數(shù)據(jù))。這意味著，IUD操作都有可能導(dǎo)致字典的重新創(chuàng)建(或刪除)。
- 數(shù)據(jù)裝載。這和插入數(shù)據(jù)的過程類似，數(shù)據(jù)將會先被壓縮然后被存儲。在某些情況下(例如，當(dāng)DB2的Automatic Dictionary Creation技術(shù)被啟用時)，裝載數(shù)據(jù)時還可能同時創(chuàng)建字典。
- 表整理。在整理表時，根據(jù)當(dāng)前表被標(biāo)識為壓縮或未壓縮，將會對數(shù)據(jù)進(jìn)行相應(yīng)的壓縮或者解壓縮處理。表整理是對整個表進(jìn)行充分壓縮的有效手段。
- 壓縮率評估。數(shù)據(jù)庫一般會提供一個操作，在未被壓縮(或未被完全壓縮)的數(shù)據(jù)表上進(jìn)行評估，預(yù)測能達(dá)到多高的壓縮率。
- 索引(Index)壓縮。索引壓縮的算法與關(guān)系型數(shù)據(jù)壓縮不太一樣，本文不進(jìn)行深入討論。
- 大對象(LOB)壓縮。大對象不使用關(guān)系型數(shù)據(jù)的行存儲或列存儲方式，因此也不適用上述的算法。
- 日志(Log)。日志中需要保存和壓縮操作相關(guān)的信息，以保證數(shù)據(jù)的一致性。
- 備份與恢復(fù)。在備份與恢復(fù)操作時，需要進(jìn)行相應(yīng)的數(shù)據(jù)壓縮和解壓縮處理。
#p#
壓縮相關(guān)的命令
雖然壓縮涉及非常復(fù)雜的數(shù)據(jù)庫內(nèi)部機制，但理論上來說，壓縮后的數(shù)據(jù)庫對于使用者是透明的，所有的壓縮和解壓縮過程都隱藏在數(shù)據(jù)庫內(nèi)部。因此，在絕大部分情況下，使用者不需要進(jìn)行額外的操作，甚至不需要知道數(shù)據(jù)庫是否已經(jīng)被壓縮過。
當(dāng)然，仍然有一些與特定的壓縮相關(guān)的數(shù)據(jù)庫命令。下面以DB2 V9.7為例，作一簡單討論。
當(dāng)創(chuàng)建一個表的時候，可指定該表使用壓縮。語法如下：
- CREATE TABLE CUSTOMER (
- …
- ) COMPRESS YES;
這條命令創(chuàng)建了一個名為CUSTOMER的表，并且在此表上使用壓縮功能。以后在此表上進(jìn)行的查詢、插入、更新等操作，都會自動在后臺執(zhí)行相應(yīng)的壓縮和解壓縮操作，而不需要使用特殊的語法。
對于一個已經(jīng)存在的表，可以用ALTER TABLE命令來啟用或停止其壓縮功能：
ALTER TABLE CUSTOMER COMPRESS YES;
這條命令會在已存在的表CUSTOMER上啟用壓縮功能。
ALTER TABLE CUSTOMER COMPRESS ON;
則會關(guān)閉壓縮功能。
需要注意的是，使用ALTER TABLE命令啟用或停止其壓縮功能后，并不會對已經(jīng)存在的記錄生效。舉例來說，在對某個表啟動壓縮后，新插入的(包括被批量load的)記錄以及被更新的記錄都會以被壓縮的格式保存，但是，對于那些已經(jīng)存在、并且沒有在壓縮功能啟用后被更新過的記錄，它們?nèi)匀灰栽嫉母袷奖４妗＿@說明了為什么在啟用壓縮以后，數(shù)據(jù)庫占有的磁盤空間并沒有立即減少。
那么，怎樣使壓縮功能對于已經(jīng)存在的記錄也生效呢?答案是使用REORG整理整個表。如上例，在執(zhí)行完ALTER TABLE命令以后，立即執(zhí)行以下命令：
REORG TABLE CUSTOMER;
這條命令將掃描整個CUSTOMER表，并對所有的記錄都進(jìn)行壓縮或解壓縮。根據(jù)表的大小，可能會執(zhí)行相當(dāng)長的時間。
壓縮率
即使在相同的壓縮算法下，表的壓縮率也是不固定的。與常規(guī)的文件壓縮相比，表的壓縮率取決于更多的因素。
數(shù)據(jù)冗余度。數(shù)據(jù)庫壓縮的前提是被壓縮的數(shù)據(jù)是冗余的。對于冗余度大的數(shù)據(jù)，往往能得到很好的壓縮率。而對于冗余度很小甚至趨近于0的數(shù)據(jù)，再好的壓縮算法也無濟于事。不同數(shù)據(jù)庫的冗余度差別是非常大的。
數(shù)據(jù)分布。某些類型的壓縮算法會在一個小范圍內(nèi)構(gòu)建壓縮字典。這意味在某個較小的范圍內(nèi)，如果可以找到較多的Pattern，就可以獲得較高的壓縮率。如果Pattern是均勻分布在整個表中的，那么小范圍內(nèi)的字典將效率很低。在表的某些列上建立聚集索引，強制使內(nèi)容相似的行處于相鄰的位置，往往是提高壓縮率的一種有效方式。
數(shù)據(jù)庫群集。在群集的情況下，由于字典無法跨越群集，因此必須盡量使單一節(jié)點上的數(shù)據(jù)冗余度盡可能地高。對于DB2來說，精心設(shè)計DPF中的Hash Columns，以及配合使用聚集索引，能夠有效地影響到壓縮率。
某些基于真實應(yīng)用的數(shù)據(jù)庫的測試表明，壓縮技術(shù)往往可以將數(shù)據(jù)庫的大小減少70%甚至更多，同時對系統(tǒng)的整體性能沒有明顯的影響(在I/O密集的系統(tǒng)中，系統(tǒng)性能甚至可能提高)。當(dāng)然，這個測試結(jié)果僅供參考，因為實際的表現(xiàn)依賴于數(shù)據(jù)庫的具體情況。
結(jié)論
前面探討了關(guān)于數(shù)據(jù)庫可用性和擴展性方面的問題，我們看到每種產(chǎn)品和架構(gòu)都是有缺陷的，其實架構(gòu)就是有所取舍的過程，目標(biāo)是用最小的代價去解決問題。所以找到適合自己的產(chǎn)品和架構(gòu)，這才是最重要的。
原文鏈接：http://www.cnblogs.com/aooyu/archive/2011/06/07/2074320.html
【編者推薦】
