H3C多媒體存儲管理淺析
多媒體存儲的范疇很廣，包括網站媒體、VOD應用、醫療PACS等在內的各種涉及圖形、圖像應用的存儲領域，其中視頻監控存儲是多媒體存儲的一種重要形態。本文重點聚焦監控領域的多媒體存儲，文中說到的監控存儲，都指監控領域的多媒體存儲。 1、多媒體存儲的特點 如表1所示，為監控存儲模型和傳統存儲模型的特點對比： 從表中可以看出三種存儲模型體現出了截然不同的特性。傳統的數據庫表存儲，在表現形式上體現出結構化的特性，但是在組織方式上更多的表現出無序的特征；傳統的文本、圖像存儲，無論是表現形式，還是組織方式，都體現出非規則的無序特征。 而監控存儲雖然其數據的表現形式和傳統的圖像存儲一樣，體現出無規則的非結構化特征，但是其在組織方式上是結構化的，體現出很強的規則性，這是其***的特點，也是和傳統存儲模型大不一樣的地方。那么，該如何用結構化的方法，對這種非結構化的數據進行管理？現有的數據管理方式是否適用于監控存儲呢？ 2、多媒體存儲的數據管理挑戰 在這種流媒體服務器的方案中，數據管理方式是基于文件系統進行的，所有的錄像數據在通過媒體服務器時，都被轉成了標準的流媒體文件（幾分鐘到幾十分鐘的錄像形成一個文件），然后再進行存儲。這種存儲方式利用了傳統文件系統自身的特性，系統開發比較簡單，但有可能降低監控存儲的效率，主要體現在： 存在視頻數據丟失的風險。文件形成需要時間，在形成過程中若網絡有誤碼、前端DVR/DVS/IPCAM有故障/停電，服務器自身軟件缺陷等情況出現，就會造成整段時間視頻文件的丟失。 受文件碎片的影響。文件系統使用過程中會形成大量的文件碎片，在使用過程中存儲空間會逐漸變小，性能也會隨之降低。 文件檢索效率低。歷史數據檢索的最小單位是文件，顆粒度太大，精確度低。 除了文件系統自身的不足之外，方案還會受到流媒體服務器集群能力的影響。一臺普通的PC Server大約能承載幾十路2Mbps媒體數據流的處理，在這種組網下，要支撐更多數量的媒體流處理，需要將多臺媒體服務器組成一個集群。但是，受限于媒體流服務器的集群能力，媒體服務器的數量不能太多，一般十幾臺媒體服務器就達到了一個集群的極限。因此，媒體服務器集群成為了整個監控系統的瓶頸，這使得監控系統無法大規模展開。在構建平安工程這類大規模監控系統時，這種方案就會遇到很大問題，大量的媒體服務器不僅增加成本，管理同時變得更復雜。 由此可見，傳統的監控系統在數據管理方面面臨的兩個主要問題：普通文件系統不是專為監控存儲設計，因此會影響到監控數據存儲的效率；媒體服務器的集群能力有限，導致監控系統大規模部署困難。那么，是否有針對監控存儲的更好的數據管理方式？ 3、基于“塊直存”的多媒體存儲管理方式 創造性的采用了“時間索引+塊數據”的專用數據結構，拋棄了傳統的文件系統，提高監控數據的管理效率。 創造性的采用了基于iSCSI協議的IP SAN直存技術，拋棄了傳統的流媒體服務器，簡化系統架構。 通過集中式數據管理，實現了對資源的統一劃分和調度，實現數據的全局性管理。 以下就它的各層含義做加以分析。 ***，監控專用數據結構。 “塊直存”的數據管理方式拋棄了傳統的文件系統，采用底層的數據塊作為基本的存儲單元，同時創造性的采用了一種專用于監控存儲的專用數據結構，通過數據塊+專用數據結構兩部分相結合，來實現對監控存儲的結構化管理。 通過深入分析文件系統的設計機制可以發現，監控數據丟失的根本原因是對元數據的過度依賴，元數據類似于這些錄像數據的組織關系。錄像數據丟失的絕大部分原因并不是磁盤介質上的數據消失了，而是因為這些散落在磁盤介質上的數據的“組織關系”被破壞了（比如文件系統中病毒、異常斷電導致文件損壞等）。那么，如果能脫離文件系統，把數據及其“組織關系”統一管理起來，讓每個攝像機的錄像數據高度自治，甚至可以基于錄像數據重構出數據的“組織關系”，自然就能解決因文件系統損壞而帶來的錄像數據丟失的問題。 進一步的分析和研究監控系統中的音視頻數據發現，多媒體數據具有以下特征： 1）任何兩個攝像機之間的錄像數據在組織上都不具有相關性； 2）攝像機的錄像數據可以基于I[z1] 幀組來進行組織，在一定的預置條件下每個I幀組的大小非常接近； 3）攝像機的錄像數據與時間高度相關，且具有絕對唯一的映射關系，完全可以使用嚴格遞增的時間來作為錄像數據的索引。 以上兩點分析表明，基于文件系統的非結構化數據管理方式已不適合，而應該采用結構化的多媒體數據管理機制，以此徹底避免文件系統對系統帶來的不利影響。這種新的數據結構采用I幀組作為多媒體數據的最小組織單元，時間作為每個數據單元的索引，并且把索引和數據保存在一個完全獨立的邏輯存儲空間上，這就是“塊直存”的基本原理，如圖2所示。 在“塊直存”的系統中，“塊”存儲可理解成自定義的一種文件系統，在裸盤上進行數據讀寫；錄像的索引可以認為是數據的自描述元素（可以稱之為“元數據”），錄像的索引和數據形成獨立的、完整的數據結構，這種數據結構完全由自己管理，不再由操作系統和文件系統管理，徹底避免了由于文件系統原因而導致的錄像丟失問題。 通過時間索引+塊數據存儲這種組合，還大幅提高了數據管理的效率。在錄像檢索上，可以基于時間索引進行，而不再以單個文件為單位，因此可以快速定位到任意時間的錄像，檢索速度大幅提高。在檢索的顆粒度上，也不再受文件大小的限制，可以實現秒級別甚至毫秒級別的連續檢索。此外，在資源的管理上，由于監控錄像空間的大小是可預見性，因此完全可以采用預分配的方式來劃分存儲空間，從而使得空間資源得以計劃分配，避免了文件系統使用過程中產生的大量文件碎片。 第二，前端設備到IP SAN的直存。 “塊直存”的數據管理方式拋棄了流媒體服務器，在IP網絡的基礎上，采用前端設備（編碼器、IPC）直寫IP SAN存儲的方式，實現了全局性的存儲資源讀寫訪問。 這些年來，技術的進步為視頻監控系統中存儲體系架構的變革奠定了堅實的基礎，主要表現在： 1）編碼設備中的運算處理能力越來越強，在提供基本的編碼、傳輸功能之外，編碼設備還有大量的空閑資源可供利用； 2）網絡技術更加成熟，器件成本持續下降，前端編碼設備提供百兆或千兆接口已不存在成本方面的限制； 3）基于iSCSI協議的IP存儲技術得到了廣泛的應用，專業存儲更加平民化。 基于這些技術進步，在編碼設備中創新性的集成了iSCSI模塊，使得編碼設備可以基于iSCSI/TCP/IP協議端到端地把錄像數據寫入IP SAN存儲設備中。具體如圖3所示： 相對于傳統監控系統的流媒體服務器的存儲模型，前端設備直寫IP SAN存儲模型具有以下幾大明顯的技術優勢： 全IP的解決方案，輕松破解模擬視頻信號接入的工程難題； 錄像數據基于TCP協議在編碼設備和IP SAN存儲設備之間傳輸，保證了錄像的可靠性； 簡化了系統架構，避免了流媒體服務器的瓶頸問題，不僅降低了系統的TCO，而且管理運維更方便。 在前兩者的基礎上，通過全局性的資源統一劃分和調度，實現數據的全局性管理。 在大型監控系統里面，可能有千上萬個攝像機和海量的存儲空間。如何管理這些攝像頭和存儲設備之間的對應關系是一個非常復雜的難題。在“塊直存”視頻監控系統中，我們引入了數據管理服務器（DM）的一個單元，以此來實現存儲資源的統一管理。 在“塊直存”架構里，所有攝像頭和存儲陣列通過IP網絡互連，任意攝像頭和任意存儲陣列都可以互相訪問，存儲的管理通過存儲架構的大腦——DM數據管理平臺來實現。DM是一個專用的數據管理設備，所有的攝像頭和存儲資源都由其管理。攝像頭需要存儲數據時，會統一向DM申請，DM收到申請后，會從存儲空間中選擇合適的存儲資源分配給攝像頭，然后攝像頭再跟這一塊存儲資源建立讀寫關系。在整個系統中，攝像頭不需要知道數據存儲在哪個陣列上，存儲陣列和攝像頭之間也沒有特定的綁定關系，完全是一種動態的資源分配。而且一旦攝像頭和存儲陣列建立起關系之后，DM就不再參與數據寫入過程，數據由攝像頭直接寫入到存儲陣列，不存在性能瓶頸。 這種方式保證了錄像數據在不同設備間的實時共享，任一路前端設備可以訪問到任何一臺IP SAN存儲設備。而系統內的DM統一管理所有的IP SAN設備，實現資源的統一劃分和調度，控制數據的全局性管理。因為可以訪問到所有編碼設備的錄像數據，DM還可以很方便的提供VOD服務，多個用戶可并發回放同一攝像機的錄像數據。 4、總結 這一創新理念自誕生之際，就受到了業界眾多廠家、用戶的關注，一些綜合實力較強的廠商，都加大了在“塊直存”方面的研究投入，基于“塊直存”的監控數據管理方案已經成為了最熱門的方案。但是，“塊直存”技術還遠沒到***的境界，由于拋棄了傳統文件系統，導致那些在文件系統基礎上比較容易實現的圖像備份、數據轉存等功能，在“塊直存”方案中實現起來的變得比較復雜，實現的難度也大大增加。因此，采用“塊直存”技術，對廠商的技術能力也是一個挑戰。 5、結束語 6、H3C多媒體存儲管理創新實踐 如圖4所示為H3C iIVS8000方案的典型組網，其包含了“塊直存”的三個基本特性： IP SAN直存方式。錄像保存過程中，前端編碼器通過iSCSI協議將數據直接寫入到VX1500 IP SAN存儲中，中間不經過流媒體服務器。理論上，只要IP可達，任意一個前端設備都可以訪問到任意的IP SAN存儲。 基于塊數據的錄像組織。采用“時間索引+塊數據”的方式對錄像進行組織，中間不經過文件系統。時間索引和錄像數據都保存在IP SAN存儲陣列上，每一個時間索引是對應的錄像的自描述，通過時間索引可以快速檢索到任意時刻的錄像。 全局數據管理。通過數據管理服務器（DM）實現對空間資源的統一調度和分配。存儲設備的注冊、初始資源的規劃、存儲過程中的資源變化、存儲資源等空間資源操作，統一通過DM進行。系統采用控制流和數據流分離的方式，DM和VX1500 IP存儲之間通過控制信令流進行交互，而數據寫入過程的iSCSI流不經過DM，不存在系統瓶頸。
業界較為典型的監控存儲的數據管理方案是“DVS＋媒體服務器＋存儲系統”，其中媒體服務器是系統的核心，由其負責媒體數據流的分發、錄像、以及VOD點播，如圖1所示：
針對監控存儲的數據特點，業界早在幾年前就開始嘗試一些新的數據管理方式，希望能夠提高監控存儲的數據管理效率，滿足監控大規模應用的需求。在這些數據管理方式中，“塊直存”就是其中比較有特點的一種，已經成為業界發展的方向。其創新性主要體現在：
第三，全局性的資源統一管理。
多媒體存儲管理是數據管理的一個新課題，隨著監控應用的迅速發展，這個課題已經成為了業界關注的焦點。基于“塊直存”的數據管理方式，是多媒體存儲管理方式的一大創新嘗試。它通過獨特的方式，解決了傳統監控應用中的文件系統的低效率問題和流媒體服務器的集群能力問題，大幅提高了監控存儲的數據管理效率，較好的滿足了監控大規模應用的需求。
“塊直存”技術，任重而道遠，盡管會碰到各種曲折，作為多媒體存儲管理的一大創舉，其代表著潮流的一個方向，其前景讓人期待。
H3C率先在iVS視頻監控系統中應用了“塊直存”存儲體系架構，一舉解決了傳統視頻監控系統中存儲所面臨的系列問題，不僅實現了錄像的可靠性，提升的便捷的數據訪問方式，而且還大幅降低了錄像數據的存儲成本。
