2016年4月14-15日，由51CTO傳媒主辦的WOT2016互聯網運維與開發者大會在北京珠三角JW萬豪酒店召開。秉承專注技術、服務技術 人員的理念，自2012年以來，WOT品牌大會已經成功舉辦了八屆，積累了大量的技術專家資源，獲得了廣大IT從業者和技術愛好者的一致認可，成為了業界重要 的技術分享交流平臺以及人脈拓展平臺。

本次會議分為11個技術主題，分別是：數據庫技術與應用，大數據與運維，云計算與運維，運維安全，移動運維，容器體系構建與實踐，運維自動化，行業運維、監控與性能優化、高可用架構和分布式存儲技術。51CTO作為本次大會的主辦方，將以快速報道、現場專訪與后期視頻等形式展示這場盛宴。

下面是來自百度開放云資深工程師崔燦先生給大家帶來的是主題為《百度對象存儲系統的架構與演進》的精彩演講。

[[165301]]

百度開放云資深工程師    崔燦

對象是什么

對象是現實中實際存在的實體，有名字、數據和屬性，一般來說，一個對象生成之后就會永遠存在，不再作修改。在實際的系統中，一個MP3，一個視頻文件，一個日志文件一般都可以認為是對象，而對象存儲系統的重要使用場景也是在這類數據的存儲和訪問，比如說在線音樂視頻播放，日志存儲和處理等。

一般來說，一個對象可以通過對象的名字獲取，是一個扁平的名字空間。

對象存儲系統關注的點：可靠性、可用性、性能和價格。

可靠性是對象存儲系統的最基本要求，簡單的說是保證用戶的數據不丟失。

影響可靠性的基本原因在于硬件故障，主要包括磁盤故障、單機故障、交換機故障和機房故障，目前看來，這些故障的概率大概趨于穩定。

存儲系統架構于基本硬件之上，需要部分的容忍硬件故障，一般來說可以通過對硬件的冗余來提升系統的可靠性，但是對硬件的冗余會提升成本。

對存儲系統可靠性的另外一個影響是硬件故障的修復時間，修復時間越短，系統的可靠性就越高。修復時間取決于磁盤容量 / min(磁盤帶寬，網絡帶寬)，其中磁盤帶寬和網絡帶寬是參與修復的總量。

系統可靠性 = f(故障容忍度，故障修復時間)

百度內部的KV存儲系統，采用3副本，能容忍單機故障，而且通過分布式修復以及磁盤故障預測，能大幅減少修復時間。

百度開放內部kv存儲系統，對外發布對象存儲系統，主要遇到兩個方面的挑戰：

1. 從用戶角度來看，一是用戶量增加，導致對用戶的幫助會降低，另外一方面直接面對大眾，可能會遭到惡意攻擊。

2. 從業務上來看，一方面是網絡環境發生變化，從內網到公網。另外一方面對外部業務的增長并不可預期。

基于以上的一些問題，百度開放云商業化的時候作了以下幾個方面的工作：

1. 安全性：開放云對象存儲對數據安全和服務安全兩個方面都作了一些改進。

數據安全有三個層次，數據不丟(基于可靠存儲，多region, 多az來實現)，數據不被非法訪問(基于ak, sk的用戶認證以及基于policy的權限認證)，高級安全特性(https，服務端加密等)。

服務安全包括三個方面，用戶間互相影響(通過頻度 & quota服務)，惡意攻擊(通過百度私有防攻擊系統以及運營商黑洞清洗來解決)，機房地域故障(多region, 多az來解決)。

2. 易用性方面：通過對用戶上云(網絡、硬盤導入)，用戶使用，以及運維三個方面來提升用戶的使用體驗。

3. 性能的方面：主要對Http的性能作優化，通過多并發的上傳下載，流量調度，CDN集成等多個方面來提升http性能。

依托于百度內部大數據存儲的經驗，特別是網盤數據的存儲經驗，百度開放云提供了冷備服務，在不降低系統可靠性的前提下，降低存儲成本，降低用戶的使用成本。

開放云對象存儲的一個策略是為用戶提供完整的解決方案，把百度內部優質服務共享給開發者，目前成熟的解決方案包括冷存儲，多媒體(直播、點播、轉碼、圖像處理等)，數據處理(bmr, 機器學習等)，在未來百度開放云會更進一步的包裝百度內部優質服務，開放給開發者。

另外，崔燦也跟大家分享了百度開放云在面對超大數據存儲方面所采取的方法是將數據多級索引存儲，避免了索引量的暴漲。

同時也介紹了百度CDN的優勢所在，一方面是和開放云的其它服務結合，形成完整的一套解決方案。其次百度CDN依賴百度多年的CDN經驗，形成靠譜的IP庫，保證流量調度合理，同時通過多級回源，BGP回源等策略，保證在源站服務能力有限的情況下保證客戶的速度。CDN在應對攻擊方面，若有超大流量攻擊時，百度有和運營商有應對黑洞的策略方案。對于小流量的竊取流量的問題，可以采取將用戶的請求回源站等方法來處理。

未來

崔燦介紹到，未來，百度將繼續對存儲的核心技術方面進行不斷的研究，其次會不斷提高產品的性價比，降低用戶的存儲成本，降低副本。第三是會繼續提供解決方案。將百度內部的資源包裝出來，使用戶享受到更好的服務。