眾所周知，管理PB級數據要比管理TB級數據要難的多。而如果管理不當，可能會為組織帶來很大的損失，更糟糕的是如果主導數據丟失，甚至可以讓組織可能損失上百萬美元。對于TB級數據，組織可以忽略或采用暴力破解技術，而這在處理PB級數據時將會成為不可逾越的障礙。管理這一級別數據的關鍵是了解所面臨的障礙是什么，并以專注的管理方式為他們做好準備。

大量數據中心面臨的***挑戰是非結構化數據的極大增長。雖然結構化數據在過去10至20年間有所增長，但在過去幾年中，非結構化數據的來源以及人們使用所述數據的能力已經顯著增加。非結構化數據管理面臨的挑戰之一是，通常很難確定何時刪除它。

例如，從以往的會計年度選擇所有財務記錄，將其歸檔并從主存儲系統中刪除是非常容易的。用非結構化數據來做這個并不是那么簡單。會計所面臨的其中一個挑戰是非結構化數據通常由無數人擁有的，而不是一個統一的應用程序。

組織的業務環境中可能存在數千個用戶和數百個應用程序，用于創建非結構化數據，并且當一條非結構化數據變得有用時，通常對此并不清楚，因此沒有人想要刪除任何內容。缺乏具體的問責制導致大部分數據處于非活動狀態，而這與數據占用空間無關。只要組織依靠數據創建者來識別和遷移那些陳舊的和未使用的數據，那么非活動數據將始終是一個問題。

當人們查看備份系統的問題，主存儲系統日益膨脹的問題就會變得更加令人關注。由于大多數備份系統都處理所有非結構化數據，因此都會使用相同的策略來備份非常重要的數據和非活動數據。由于數據是混合的，所以根本無法處理所有數據。許多人每周進行全面備份，然后進行每日增量備份，保留至少六個月，也許可能是一年或更長時間。

如果保留至少90天的每周完整備份，就會看到12份無人關注的數據副本。如果存儲該數據的現場和非現場副本，就會查看到該數據的24個副本，其中大部分是非活動的。對于一個2TB的組織數據來說，這將會存儲48TB的數據，當然很多數據是可管理的。而這種存儲的工作數據，48TB數據大約采用十幾個磁帶介質或硬盤驅動器進行存儲。但對于1PB客戶來說，每年24,000TB的數據或大約采用6000個存儲介質進行存儲。

存儲在備份系統上的非活動數據的額外副本會產生許多不必要的后果。如果組織正在使用磁盤存儲，則此數據的存儲和復制具有與之相關的成本。如果組織的存儲不使用重復數據刪除，那么存儲這些額外的數據副本的成本可能是個天文數字。如果組織使用重復數據刪除技術，這些成本將會有點混淆。盡管組織的重復數據刪除存儲系統能夠在存儲一個副本的空間中存儲20個副本，但是這些會收取一定費用，此外組織還需為額外的存儲空間付費，只是以不同的方式支付。有些人這么說：重復數據刪除系統使1TB存儲看起來像20TB的存儲空間，但是它們只收取10TB的存儲空間。這意味著他們已經弄清楚如何收取10TB的存儲空間的費用，而提供的卻是1TB的存儲空間。

在備份系統中使用重復數據刪除的大多數組織也在方程式的目標端執行，這意味著對非活動數據的重復完全備份仍會在備份客戶端產生問題。完全備份對正在備份的系統和發送備份的網絡具有性能方面影響，因此，重復的非活動數據的完全備份會使組織的花費更多，因為需要購買更強大的服務器和更快的網絡。

在數據還原過程中也會出現備份非活動數據的挑戰。考慮一個具有PB級數據的數據中心的場景，其中900TB數據是活動的。恢復1PB的數據是一項重大的任務，需要相當長的時間。想象一下，如果只需要恢復組織實際使用的100TB數據，那么這種恢復是不是要快得多？

用戶從不刪除任何東西所帶來的另一個挑戰是，當真正需要的時候很難找到任何東西。這使所有的存儲數據就是像屋子里放滿雜物的抽屜，很難找到想要找的東西。就會發現不再使用的手機充電器，回形針，舊電池，發夾等雜和盤托出，什么都有，但就沒有所要找的東西。主存儲系統也采用這種相同的方式，因此當填充大多數不活動的數據時，很難找到活動的數據文件。

此外，即使一個用戶在筆記本電腦中試圖查找文件也會存在這個問題。想象一下，當人們談論數千個用戶和PB級數據時，這個問題是多么的巨大。這能夠導致重要的文件丟失，使它們質上毫無價值。結果是用戶將重復他們的努力，并重新創建文件，因此這讓非結構化數據問題的增長變得更加糟糕。

具有PB級數據的規模更大的企業同樣也存在這樣的問題，他們通常面臨不同的用戶在多個位置創建和使用不同的文件中的問題。他們可能希望能夠分享一些數據，但是對于是PB級數據來說，這是相當困難的。這也加劇了“垃圾抽屜”問題。在垃圾抽屜里找到什么東西很難，但如果不確定在哪個垃圾抽屜來找時，那就更難了。

確認和解決非結構化數據問題

解決非結構化數據問題的唯一方法就是承認它的存在。承認在大環境中很難找到文件，甚至更難共享。確認計算、網絡和存儲資源的很大一部分用于存儲、復制和備份非活動數據。

解決這些問題的一個方法是創建一個全局統一的文件系統，將所有上述問題考慮在內。這并不能解決用戶創建數百萬個文件并將它們永遠留在那里的問題，但它至少把問題放在一個可以集中管理和處理問題的保護傘下。出現一次問題，就解決一次，而不是在企業中多次解決這些問題。

是取消存檔的時候嗎？

設計這么大的文件系統應該通過高級元數據進行集成搜索。用戶可以通過很多不同的元數據輕松地搜索，以便找到他們正在處理的文件。他們當然會繼續擁有通常使用的文件系統語義，使它們能夠創建目錄或子目錄來幫助他們整理他們的文件。具有聯合搜索的單個文件系統還將允許他們查找其他人正在處理與他們感興趣的元數據相匹配的文件。

最重要的是，為解決這個問題而設計的文件系統必須理解活動和非活動的數據，它必須以不同的方式解決。最明顯的做法是自動識別并將非活動數據遷移到成本更低的自我保護對象存儲。這將解決上述一些問題，包括在主存儲和備份存儲中的空間浪費。了解活動和非活動數據之間的差異的文件系統也有助于更容易地搜索文件，因為這是可以用于搜索的元數據之一。

一個單一的全局文件系統也可以幫助世界各地的用戶共享數據。多個辦公室的用戶可以搜索同一個全局文件系統，找到他們正在尋找的數據類型，并立即訪問它，如果他們擁有適當的權限的話。由于全局文件系統理解非活動數據的概念，所以搜索（如果用戶需要的話）也可以包括非活動數據。

將非活動數據遷移到成本更低的對象存儲的簡單行為也釋放了備份系統的壓力。它使備份和恢復更快，因為它們不必處理非活動數據，因此也節省了大量的存儲空間。有些人認為存儲在自保護對象存儲中的數據根本不需要備份。如果用戶決定備份，可以這樣做，以識別其性質，并在備份系統中存儲少得多的非活動數據副本。

這個問題已經存在多年。企業似乎對于非結構化數據的渴望是永無止境的，IT應用程序開發人員正在開發利用非結構化數據的新方法，使得擁有這樣的數據更具吸引力。非結構化數據的增長不太可能很快消失，所以用戶***的辦法就是解決問題。一個很好的方法是采用一個全局文件系統，用于處理問題，這包括理解元數據以及將非活動數據自動遷移到成本較低的對象存儲。