概述

重復數據刪除技術正迅速成為一個幾乎所有的業務必不可少的存儲解決方案。由于企業創建比以往任何時候都都要多的數據，重復數據刪除在降低存儲的成本、訪問、復制和備份這些不斷增長的大量的數據方面被看作是一個重要的技術。

除了節約成本，重復數據刪除也提升了存儲的性能、增加了每秒I/O操作和通過消除多余和不必要的數據(在越來越多的情況下，這些數據將導致備份和主存儲基礎設施變得雜亂)來提高了存儲的利用率。

各種規模的企業也發現，重復數據刪除技術在支持虛擬化和云計算是不可或缺的的。虛擬化和云計算中，靈活性和性能的需求是存儲決策的主要驅動力。根據最近的研究，預計2011年至2015年重復數據刪除技術的全球市場將以復合年增長率增長30%以上。

那么，什么是重復數據刪除，為什么它在今天的IT環境中如此重要?IT決策者應該在備份或主存儲的重復數據刪除解決方案中尋求什么?以下是有關重復數據刪除的一些關鍵問題的答案。

什么是重復數據刪除?

De-duplication，即重復數據刪除，在存儲數據時檢查和比較已存在的數據，如果它們是相同的，那么就過濾掉這部分數據的備份，然后通過指針引用已存在的數據。它可以從根本上減少存儲占用的空間和用戶的磁盤驅動器數量，減輕人力、能源、電力資源等方面的開銷，從而大幅度的節約存儲成本。另外，重復數據刪除可以減少在網絡中傳輸的數據量，進而降低能量消耗和網絡成本，并為數據復制大量節省網絡帶寬。

如下圖所示，這種技術可以很大程度上減少對物理存儲空間的需求，從而滿足日益增長的數據存儲需求。

Dedupe技術目前大量應用于數據備份與歸檔系統，因為對數據進行多次備份后，存在大量重復數據，非常適合這種技術。事實上，Dedupe技術可以用于很多場合，包括在線數據、近線數據、離線數據存儲系統，可以在文件系統、卷管理器、NAS、SAN中實施。Dedupe也可以用于數據容災、數據傳輸與同步，作為一種數據壓縮技術可用于數據打包。Dedupe技術可以幫助眾多應用降低數據存儲量，節省網絡帶寬，提高存儲效率、減小備份窗口，節省成本。

在實際應用中，想象一個很長的PowerPoint銷售介紹結合詳細的圖形和視頻。如果銷售組織中每個人保存該演示文稿，將會占用你主存儲設備的很多磁盤空間，并且為每個保存的實例備份，創建更多的冗余文件。而這僅僅是一個銷售的介紹，企業中所有其它的以多種格式出現的非結構化的數據會怎么樣呢?你真的想要把錢花在磁盤驅動器來保存冗余數據嗎，你真的想不需要的數據降低你的存儲性能?

重復數據刪除技術使用算法搜索重復數據，用“指針”取代重復的數據，指向存儲在網絡的唯一主副本。重復數據刪除可以在文件級或數據塊級工作：

——文件級重復數據刪除：在這個級別，重復數據刪除在網絡搜索冗余文件，并保存該文件只有一個副本。在網絡中，當一個文件發生一個變化時，文件的另一個副本就會被保存。這種較少用的方法不如塊級重復數據刪除效率高，因為它事實上不用尋找文件重復的內容。因此，上面引用到的PowerPoint銷售的介紹，如果不同的人用不同的名字保存文件，那么重復的副本會被保存和備份。

——塊級重復數據刪除：對塊級別的數據復制，軟件查找文件和存儲里面的唯一文件部分(塊)，這些部分還沒有被備份。當文件被改變，只有被改變數據再次被存儲，從而使它在存儲的數據量方面遠遠超過文件級重復數據刪除的效率。它創建了一個主副本，無縫地合并了所有的的變化。

——在線重復數據刪除：數據寫入存儲系統同時執行刪除，因此實際傳輸或寫入的數據量較少。適合通過LAN或WAN進行數據處理的存儲系統，如網絡備份歸檔和云備份。

——離線重復數據刪除：先將數據寫入存儲系統，然后利用適當的時間再進行重復數據刪除處理。由于寫入包含了重復的數據，需要更多的額外存儲空間來預先存儲刪除前數據。且需要有足夠的時間窗口來進行重復數據刪除操作。

NETGEAR 基于塊級別的在線重復數據刪除解決方案

基于重復數據刪除的粒度可以分為文件級和數據塊級。文件級重復數據刪除技術的劣勢在于精細度不夠，并且不能提供次文件級的重復數據刪除功能。這意味著一個文件中即便有很小的一處改動也會被認為是一個全新的文件而另外儲存。

為了解決文件級重復數據刪除技術缺乏精細度的問題，NETGEAR存儲以固定的長度將數據分割成更小的“數據塊”。只存儲唯一的數據塊并將識別出重復的其它數據塊用指針方式代替，顯然，數據塊級可以提供更高的重復數據刪除率。因此目前NETGEAR主推基于塊級別的在線重復數據刪除解決方案。

NETGEAR ReadyDATA5200采用塊級別(128K)的在線重復數據刪除技術，數據寫入存儲系統同時執行重復數據刪除，因此實際傳輸或寫入的數據量較少。備份數據通過刪除寫入ReadyDATA 5200的相同的數據塊，大大減少存儲容量需求。該技術對于定期創建完整備份而言是理想的備份解決方案，因為多個備份作業很常見，而任何數據寫入只有一次，這樣可以節省容量。適合通過LAN或WAN進行數據處理的存儲系統，如網絡備份歸檔和云備份。

ReadyDATA 5200通過塊級別的在線重復數據刪除技術為企業數據備份提供了一個符合成本效益的，易于部署的、功能豐富的資源庫。

重復數據刪除技術給企業帶來的好處

NETGEAR ReadyDATA5200通過塊級別的在線重復數據刪除技術可以幫助企業解決備份信息存儲的問題。該技術可刪除冗余數據，以便更經濟地滿足數據的存儲和災難恢復需求。如上文所述，備份環境中存在數量驚人的冗余數據。通過有效地部署重復數據刪除，企業只需利用當前備份存儲基礎架構的一小部分空間面積和運營開支，即可保護和恢復信息。在重復數據刪除方面的投入可以帶來極大的業務好處。重復數據刪除可實現的業務好處包括：

降低基礎架構成本。通過刪除備份中的冗余數據，大大減少了保存備份映像所需的基礎架構。重復數據消除的直接結果是減少了保存備份映像所需的存儲容量。容量需求的減少意味著購置成本以及電源和冷卻成本的降低。

延長保留時間。由于重復數據刪除可減少每日備份的內容量，因此用戶可以延長他們的保留時間策略。如果用戶目前需要較長的保留時間，但卻因當前流程和策略的限制而無法實現，這可以為用戶帶來巨大的好處。

改進數據保護。重復數據刪除使許多企業能夠創建每日完整備份映像。在這些企業當中，很多都曾經因為備份時間段的限制而只能被迫執行每周完整備份和每日增量備份。重復數據刪除可減少存儲容量的需求，從而允許企業采取更積極的備份策略，以減少恢復時間。

減少數量，提高性能。通過減少總的備份映像大小，公司將更有能力負擔磁盤備份替代傳統磁帶存儲的支出。磁盤備份支持高速、高度可靠的備份映像，從而可滿足對更短備份時間段和更快恢復時間的需要。

大大降低備份帶寬需求。重復數據刪除可減少備份映像中的內容量，因此會減少對該內容進行遠程復制時的開支，從而支持遠程復制的備份。此外，NETGEAR通過利用塊級別的在線重復數據刪除，可在備份過程中對任何數據進行存儲之前將冗余數據從備份過程中提取出來。這意味著完成備份的方式是僅移動那些尚未存在于備份數據庫中的子文件數據元素。

什么樣的重復數據刪除解決方案可用?

要選擇***的解決方案，你需要對你的存儲基礎設施和要求制定評估計劃。有許多組織面對顯著增長的數據不堪重負，因為他們之前沒有恰當的計劃。與NETGEAR和他們的存儲專家團隊一起工作將幫助您了解如何設計您的存儲基礎設施使其與您的業務目標相一致，包括如何以及在哪里部署重復數據刪除解決方案以節省資金和提高業務靈活性。重復數據刪除技術是一項成熟的技術，為業務提供了實實在在的利益--隨著您的數據存儲需求的持續增長而變得更有價值。現在是與NETGEAR一起工作的時候了，為您的組織選擇正確的解決方案。

總結：重復數據刪除的合理性

許多企業都在通過部署磁盤備份來增強，或者，甚至是取代基于磁帶的備份和恢復基礎架構。為什么對磁盤備份內容進行重復數據刪除如此具有吸引力?重復數據刪除可降低備份成本并在以下領域提供更多的好處：

——降低磁盤容量需求

——縮短備份時間

——與磁帶相比，加快數據恢復速度

——降低異地復制成本

——降低備份對磁帶庫的依賴性

讓NETGEAR和全球范圍內的NETGEAR合作伙伴幫助您所在的企業擁有世界***的磁盤備份和重復數據刪除產品。NETGEAR的創新型產品組合、廣泛的信息管理經驗以及經驗證的***做法可確保您以***的效率和***的成本從信息基礎架構中獲得***的價值。