[[335987]]

本文轉載自微信公眾號「鮮棗課堂」，作者小棗君 。轉載本文請聯系鮮棗課堂公眾號。

小棗君給大家詳細介紹了數據存儲技術的基本知識，其中重點對DAS、SAN和NAS技術進行了對比分析。

我們知道，在很長的一段時間里，這三種架構幾乎統治了數據存儲市場。所有行業用戶的數據存儲需求，都是在這三者中進行選擇。

 

然而，隨著時代的發展，一種新的數據存儲形態誕生，開始挑戰前面三者的壟斷地位。

沒錯，它就是云計算時代存儲技術的新網紅——對象存儲。

[[335989]]

 

哈哈，也許搞著搞著，對象就有了呢!

 

對象存儲，也稱為“面向對象的存儲”，英文是Object-based Storage。現在很多云廠商，也直接稱之為“云存儲”。

不同的云廠商對它有不同的英文縮寫命名。例如阿里云把自家的對象存儲服務叫做OSS，華為云叫OBS，騰訊云叫COS，七牛叫Kodo，百度叫BOS，網易叫NOS……五花八門，反正都是一個技術。

之前小棗君介紹過，DAS和SAN是基于物理塊的存儲方式，而NAS是基于文件的存儲方式。

 

在DAS和SAN中，存儲資源就像一塊一塊的硬盤，直接掛載在主機上，我們稱之為塊存儲。

而在NAS中，呈現出來的是一個基于文件系統的目錄架構，有目錄、子目錄、孫目錄、文件，我們稱之為文件存儲。

文件存儲的最大特點，就是所有存儲資源都是多級路徑方式進行訪問的。例如：

C:\Program Files (x86)\Tencent\WeChat\WeChat.exe

\\NJUST-Server\學習資料\通信原理\第一章作業.doc

20世紀末，隨著互聯網的爆發，數據存儲需求發生了兩個重大的變化。

第一，就是數據量爆炸式增長。

原因我就不用說了吧?大家可以瞅瞅自己的硬盤，都藏了些什么。

 

Web應用的崛起、社交需求的刺激，極大地推動了多媒體內容的創作和分享。人們開始上傳大量的照片、音樂、視頻，加劇了數據量的爆發。

此外，信息技術的發展、企業數字化的落地，也產生了大量的數據

，不斷吞食著存儲資源。

第二，是非結構化數據的占比顯著增加。

什么是非結構化數據?

舉個例子大家就明白了。我們經常做的excel表格，姓名、身高、體重、年齡、性別，這種用二維表結構可以進行邏輯表達的數據，就是結構化數據。

 

結構化數據

而圖像、音頻、視頻、word文章、演示膠片這樣的數據，就是非結構化數據。

根據此前的預測，到2020年(也就是今年)，全球數據總量的80%，將是非結構化數據。

面對這兩大趨勢，因為本身技術和架構的限制，DAS、SAN和NAS無法進行有效應對。

于是，專家們就搞出了對象存儲。

 

雖然我們說對象存儲是新網紅，但實際上它誕生的時間并不算短。早在1996年，美國卡內基梅隆大學就將對象存儲作為一個研究項目提出來。隨后，加州大學伯克利分校也有推出類似的項目。

2002年，Filepool公司推出了基于內容可尋址技術的Centera系統，算是比較早期的對象存儲系統。

2006年，美國Amazon公司發布AWS S3(Simple Storage Service)服務，正式將對象存儲作為一項云存儲服務，引入云計算領域，從此開啟了對象存儲的黃金時代。

 

S3幾乎成為對象存儲的事實標準

各廠家基本上都會兼容S3

對象存儲和塊存儲、文件存儲的區別

說了半天，對象存儲到底是一個什么樣的技術?它和塊存儲、文件存儲有什么區別?

首先，第一點，千萬不要去看百度百科上面“對象存儲”的定義，否則，你可能會懷疑人生。

想要了解對象存儲，最簡單直接的辦法，就是從實際使用體驗上進行對比。

對象存儲的底層硬件介質，依然是硬盤，和塊存儲、文件存儲沒有區別。

而對象存儲架構在底層硬件之上的系統，和兩者完全不同。(下文會詳細介紹系統架構)

不同的軟件，帶來了完全不同的使用體驗：

塊存儲，操作對象是磁盤。存儲協議是SCSI、iSCSI、FC。

以 SCSI 為例，主要接口命令有 Read/Write/Read Capacity/Inquiry 等等。

文件存儲，操作對象是文件和文件夾。存儲協議是NFS、SAMBA(SMB)、POSIX等。

以NFS(大家應該都用過“網上鄰居”共享文件吧?就是那個)為例，文件相關的接口命令包括：READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS 等等，文件夾相關的接口命令包括：MKDIR/RMDIR/READDIR 等等。

對象存儲，主要操作對象是對象(Object)。存儲協議是S3、Swift等。

以 S3 為例，主要接口命令有 PUT/GET/DELETE 等。

看出來了吧?接口命令非常簡潔，沒有那種目錄樹的概念。

在對象存儲系統里，你不能直接打開/修改文件，只能先下載、修改，再上傳文件。(如果大家用過百度網盤或ftp服務，一定可以秒懂。)

 

 對象存儲中的數據組成

對象存儲呈現出來的是一個“桶”(bucket)，你可以往“桶”里面放“對象(Object)”。這個對象包括三個部分：Key、Data、Metadata。

 

• Key

可以理解文件名，是該對象的全局唯一標識符(UID)。

Key是用于檢索對象，服務器和用戶不需要知道數據的物理地址，也能通過它找到對象。這種方法極大地簡化了數據存儲。

下面這行，就是一個對象的地址范例：

 

看上去就是一個URL網址。如果該對象被設置為“公開”，所有互聯網用戶都可以通過這個地址訪問它。

• Data

也就是用戶數據本體。這個不用解釋了。

• Metadata

Metadata叫做元數據，它是對象存儲一個非常獨特的概念。

元數據有點類似數據的標簽，標簽的條目類型和數量是沒有限制的，可以是對象的各種描述信息。

舉個例子，如果對象是一張人物照片，那么元數據可以是姓名、性別、國籍、年齡、拍攝地點、拍攝時間等。

 

元數據可以有很多

在傳統的文件存儲里，這類信息屬于文件本身，和文件一起封裝存儲。而對象存儲中，元數據是獨立出來的，并不在數據內部封裝。

元數據的好處非常明顯，可以大大加快對象的排序，還有分類和查找。

對象存儲的架構

對象存儲的架構是怎樣的呢?如下圖所示，分為3個主要部分：

 

對象存儲的簡單架構示意圖

• OSD對象存儲設備

這是對象存儲的核心，具有自己的CPU、內存、網絡和磁盤系統。它的主要功能當然是存儲數據。同時，它還會利用自己的算力，優化數據分布，并且支持數據預讀取，提升磁盤性能。

• MDS元數據服務器

它控制Client和OSD的交互，還會管理著限額控制、目錄和文件的創建與刪除，以及訪問控制權限。

• Client客戶端

提供文件系統接口，方便外部訪問。

根據上面的架構可以看出，對象存儲系統可以是一個提供海量存儲服務的分布式架構。

對象存儲的優點

對象存儲的優點很多，簡單歸納如下：

• 容量無限大

對象存儲的容量是EB級以上。EB有多大?大家的硬盤普遍是TB級別。1EB約等于1TB的一百萬倍，請自行腦補...

對象存儲的所有業務、存儲節點采用分布式集群方式工作，各功能節點、集群都可以獨立擴容。從理論上來說，某個對象存儲系統或單個桶(bucket)，并沒有總數據容量和對象數量的限制。

換句話說，只要你有足夠的money，服務商就可以不停地往架構里增加資源，這個存儲空間就是無限的。

你可以根據自身需求購買相應大小的對象存儲空間。如果需要調整大小，也是支持彈性伸縮的，你不要進行數據遷移和人工干預。

• 數據安全可靠

對象存儲采用了分布式架構，對數據進行多設備冗余存儲(至少三個以上節點)，實現異地容災和資源隔離。

根據云服務商的承諾，數據可靠性至少可以達到99.999999999%(不用數了，一共11個9)。這意味著，1000億個文件里，每月最多只會有1個文件發生數據丟失。這比一個人被隕石擊中的概率還要小143000倍。

數據訪問方面，所有的桶和對象都有ACL等訪問控制策略，所有的連接都支持SSL加密，OBS系統會對訪問用戶進行身份鑒權。因為數據是分片存儲在不同硬盤上的，所以即使有壞人偷了硬盤，也無法還原出完整的對象數據。

• 使用方便

對于用戶來說，對象存儲是一個非常方便的存儲方式。

很多人把它比喻為“代客泊車”，你只需要把車扔給他，他給你一個憑證，你通過憑證取車就可以了。你不需要知道車庫的布局，也不需要自己去費力停放。

數據的存取方法也非常靈活多樣。除了前面說的可以使用網頁(基于http)直接訪問之外，大部分云服務提供商都有自己的圖形化界面客戶端工具，用戶存取數據就像用網盤一樣。

 

騰訊云的對象存儲工具界面

事實上，大部分的對象存儲需求，并不是個人用戶買來當網盤用，而且企業或政府用戶用于系統數據存儲。例如網站、App的靜態圖片、音頻、視頻，還有企業系統的歸檔數據等。

像這種數據，是通過程序內部的接口調用的。對象存儲提供開放的REST API接口。程序員在開發應用時，直接把存儲參數寫進代碼，就可以通過API接口調用對象存儲里的數據。相比文件存儲那一串串的路徑，對象存儲要方便很多。

對象存儲的應用場景

目前國內有大量的云服務提供商，他們把對象存儲當作云存儲在賣。

他們通常會把存儲業務分為3個等級，即標準型、低頻型、歸檔型。對應的應用場景如下：

標準類型：移動應用 | 大型網站 | 圖片分享 | 熱點音視頻

低頻訪問類型：移動設備 | 應用與企業數據備份 | 監控數據 | 網盤應用

歸檔類型：各種長期保存的檔案數據 | 醫療影像 | 影視素材

根據估算，目前全球互聯網70%以上的熱點數據是保存在對象存儲系統中的。

對象存儲雖然看上去很好很強大，但也不是沒有缺點。它最大的缺點，和它的工作模式有關。

它是那種把整個數據取出來，修改，再放回去的模式，不支持直接在存儲上修改，哪怕只是加一行數據，都不行。所以，它不適合存儲需要頻繁擦寫的數據(例如關系型數據庫的數據)。

在數據的一致性保證上，對象存儲也存在先天的不足。不過，據說目前技術上已經有了很大改進。

 

好啦，以上就是關于對象存儲的全部內容。感謝大家的耐心觀看，如果覺得有所收獲，請記得幫小棗君點贊、轉發!我們下期再見!