動態數據倉庫設計與應用淺談
數據倉庫技術的每次演進都以發掘企業數據中更多價值作為目標。而近期流行的動態數據倉庫技術，不僅在靈活性、可視化方面有了長足進步，還能夠對企業決策、合作伙伴及客戶服務提供更為強大的支持。
數據倉庫發展歷程
數據倉庫的發展歷史具體可以劃分為五個階段。數據倉庫系統發展之初，其主要作用是為企業內部的某些部門提供一些固定的報表。因此這一階段通產被成為“報表”階段。在該階段，數據倉庫的結構可以根據具體問題進行優化，即使數據查詢人員要求訪問的信息量極其巨大，處理這些資料的效率仍然可以很高。
當企業用戶的關注點從“發生了什么”轉向“為什么會發生”，數據倉庫進入了“分析”階段。在這一階段，決策者開始對數據進行分析，實質上是在了解報表數據的真實涵義。這就需要更詳細地對數據進行多角度分析。為了解決數據查詢的瓶頸，出現了聯機分析處理（OLAP）環境。它可以使對數據進行多角度分析的反應時間以秒或分鐘來計算。因為在OLAP環境中，很多聚合數據都是預先計算好的，而且數據的存儲格式也和傳統的關系型數據庫環境存在本質區別。
擁有了量化的數據支持后，企業對經營的動態情況以及這種情況為什么發生都會有所體驗，接下來就要將業務信息用于預測了。數據倉庫也隨之進入“預測”階段，即數據挖掘階段。數據挖掘能夠預知企業即將發生的動向，幫助管理者更為積極地管理和實施企業戰略。數據挖掘為用戶提供豐富的數據采集工具，以便利用歷史數據創建預測模型。
數據倉庫演進的第4階段即是動態數據倉庫。第1到第3階段的數據倉庫技術都以支持企業內部戰略性決策為重點。而第4階段則側重在“戰術性”的決策支持，為“執行企業戰略的員工”提供支持。我們將這一階段稱為“營運導向”階段。
動態數據倉庫技術在企業環境成熟應用后，將***企業“動態性”階段。伴隨著動態數據倉庫在決策支持領域所扮演的角色越來越重要，企業實現決策自動化的積極性也在不斷提高。在人工操作效果不明顯時，為了尋求決策的有效性和連續性，企業會趨向于采取自動決策方式。
數據倉庫“動”起來
“動態數據倉庫”是一種創新理念，但其技術基礎和架構思想還是來自傳統數據倉庫技術。關鍵的區別是動態數據倉庫增加了“動態”特性，與傳統數據倉庫相比，它具有如下特點：
1．動態訪問
動態訪問是指一線用戶可以動態、或實時地訪問所需要的信息。傳統的數據倉庫用戶只針對高端管理層，而如果要實現大量客戶經理和客戶代表同時訪問，是一個很大的壓力。動態數據倉庫采用不同于傳統數據倉庫的技術手段，擴展了數據倉庫系統的用戶范圍，實現動態訪問。可以說，動態數據倉庫讓一線員工真正“動了起來”。
2．動態數據加載
傳統數據倉庫保存的是歷史的、相對靜止的、集成的企業數據。其往往是先加載好數據，再去支撐業務查詢。而動態數據倉庫的數據加載卻可以在加載數據的同時，滿足用戶的查詢請求，而且動態加載的負荷不影響用戶使用數據倉庫。不僅如此，動態數據倉庫的數據也是準實時加載的，這樣就可以使用戶能夠訪問幾乎和生產環境時效相當的數據。
3．動態事件
傳統數據倉庫只是支持用戶對企業歷史數據的分析，或者經過一些模型對未來的一些發展進行預測。它無法支持一線員工在遇到一些“動態事件”（例如銀行柜臺向客戶推薦理財產品）時，進行一些實時的業務操作。而動態數據倉庫就可以支持一線員工在遇到這些“動態事件”時，及時做出響應，成功抓住業務機會，從而大幅提升業績。因為，從事情發生到采取行動的時間越短，成功銷售的命中率就越高，所獲的價值也就越高。
4．動態負載管理
傳統數據倉庫在負載管理方面，沒有什么特殊要求。而動態數據倉庫則包含策略動態負載管理和操作動態負載管理。其中，操作動態負載管理一般是比較簡單的訪問，不需要看太多的信息；而策略動態負載管理則需要實施復雜的數據挖掘。
5．動態企業集成
傳統數據倉庫主要用來支持企業用戶對數據進行分析。而動態數據倉庫則可以將企業所有系統都很好地整合在一起，形成一個閉環，從而實現流程的自動化，而不是一個獨立的系統。
6．動態可用性
因為動態數據庫已經不是一個純粹的后臺系統，而是業務運營的一部分，因此對可靠性、穩定性的要求更為嚴格。#p#
動態數據倉庫設計
前面提到，“動態數據倉庫”在技術設施上采用得都是已有技術，而實現的難點在于“動態”，即如何實現數據倉庫的“動態”特性，這也是部署“動態數據倉庫”系統的關鍵所在。動態數據倉庫中包含了傳統數據倉庫的各種元素，例如元數據管理、數據分發、對外服務、調度管理、代碼自動化、數據質量管理等。
要實現動態數據倉庫中的動態數據加載，有多個實施方案供用戶選擇。目前，市場中存在多個接近實時的數據同步解決方案。例如，在專有工具方面，可以借助IBM WRS SQL復制和IBM WRS基于Q的復制實現；ETL工具包含Informatica PowerExchange、IBM DataStage加CDC組件；數據庫工具包括，甲骨文數據庫的復制技術、DB2基于CD/CCD的SQL復制，以及SQL Server的出版社訂閱復制技術；另外，數據捕獲器與消息中間件的集成可以提供動態數據倉庫的客戶化集成解決方案。
上述方案基本上是基于現有的數據庫復制技術進行。除此之外，還有一些專業的數據同步軟件，例如GoldenGate就是進行數據實時同步的一個非常好的工具。有報道稱，美國領先衛星電視服務提供商DIRECTV就是采用GoldenGate和Teradata來部署動態數據倉庫，并獲得成功的。
動態數據倉庫的應用
現階段，動態數據倉庫的實踐者主要為速遞服務公司和金融保險類企業。軟件解決方案方面，NCR teradata的ADW（Active Data Warehouse）、Sybase IQ能夠為企業的動態數據倉庫應用提供比較好的支持。其中，Sybase IQ的特色在于采用了按列存儲的創新技術和專有的數據壓縮技術。
近期速遞服務行業紛紛開始構建郵件速遞的實時動態查詢系統。作為這一系統的主要支撐技術，動態數據倉庫將幫助速遞服務企業構建覆蓋業務分析、時限控制、財務結算等內容的業務應用平臺。日前，國內某速遞服務公司就以Teradata平臺作為其特快專遞系統的硬件平臺，并采用Teradata ADW解決方案搭建起其第三代速遞跟蹤查詢系統。
系統上線后，該公司的速遞郵件實時動態跟蹤查詢系統每天處理超過千萬筆信息，全天郵件查詢量從上線之初的幾十萬件次增加到了上百萬件次，高峰訪問時段可達到每小時十幾萬件次。借助動態數據倉庫，該公司速遞郵件的收寄、投遞信息在處理完成幾分鐘內即可發送上網，而對于采用無線手持終端方式上傳的郵件狀態，可以在幾秒鐘內即體現出郵件的***狀態，大大提高了查詢的時效性，更好地滿足了用戶的需求。
而在金融行業，現階段的動態數據倉庫應用主要是主動預防和管控某些業務風險，而不是等到風險發生后再報告。該過程將原來的被動管理轉化為現在的主動防范。而除了風險控管，企業還可以通過對數據的分析和整理來判定自己的交易行為或客戶的交易行為是否符合法律法規的要求。
【編輯推薦】
