數(shù)據(jù)倉庫及其體系結(jié)構(gòu)建設(shè)
1 數(shù)據(jù)倉庫的概念
數(shù)據(jù)倉庫(Data Warehousing)的概念最早出現(xiàn)于20世紀80年代。而直到1993年，號稱“數(shù)據(jù)倉庫之父”的William H.Inmon在其論著《Building the Data warehouse》一書中，***系統(tǒng)地闡述了數(shù)據(jù)倉庫的思想和相關(guān)理論，為數(shù)據(jù)倉庫的發(fā)展奠定了基石。他將數(shù)據(jù)倉庫定義為：“一個面向主題的、集成的、反映歷史變化的、相對穩(wěn)定的數(shù)據(jù)集合，用于支持管理決策”。與傳統(tǒng)的事物處理系統(tǒng)有不同的是，數(shù)據(jù)倉庫是一種過程，它是對分布在組織或企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)進行整合、加工和分析的過程。而不是一種可以購買的產(chǎn)品。
1.1 面向主題(Subject-oriented)
“主題”是一個較為抽象的概念，是指用戶使用數(shù)據(jù)倉庫進行決策時所關(guān)心的重點方面。從信息管理的角度看，主題是在一個較高的管理層次上對數(shù)據(jù)進行綜合、歸類所形成的分析對象;從數(shù)據(jù)組織的角度看，主題就是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對分析對象作了比較完整的、一致的描述，這種描述不僅涉及到數(shù)據(jù)本身，還涉及到數(shù)據(jù)之間的關(guān)系。
“面向主題”則表明了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，是指數(shù)據(jù)倉庫內(nèi)的信息是按主題進行組織的，而不像傳統(tǒng)事物處理系統(tǒng)那樣單一地按照業(yè)務(wù)功能及性能要求進行組織。
1.2 集成(Integrated)
“集成”是指數(shù)據(jù)倉庫中的信息并不是對各個數(shù)據(jù)源簡單的選擇、抽取，而是首先進行一系列的加工、整理和轉(zhuǎn)換等來消除源數(shù)據(jù)中的不一致；同時按照本行業(yè)的邏輯模型設(shè)計便于查詢及分析的數(shù)據(jù)倉庫。然后按照組織或企業(yè)的需求，針對不同的主題對數(shù)據(jù)進行某種程度的綜合、概括和聚集，將源數(shù)據(jù)加載進數(shù)據(jù)倉庫。經(jīng)過這樣的處理，數(shù)據(jù)就具有了集成性，可以用于決策分析。
1.3 反映歷史變化(Time-variant)
“反映歷史變化”是指數(shù)據(jù)倉庫內(nèi)的信息并不只是反映企業(yè)當前的狀態(tài)，而是記錄了從過去某一時點到當前各個階段的信息。通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。而信息本身相對穩(wěn)定，是指一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般很少進行修改，更多的是對信息進行查詢操作。
1.4 相對穩(wěn)定(Non-volatile)
“相對穩(wěn)定”是指數(shù)據(jù)一旦進入數(shù)據(jù)倉庫，一般情況下會被長期保留，所涉及的數(shù)據(jù)操作也主要是查詢、分析，很少會被修改或刪除，通常也只需要定期地加載和刷新。相對穩(wěn)定性保證了數(shù)據(jù)倉庫中的數(shù)據(jù)能夠真實地反映歷史變化。
2 數(shù)據(jù)倉庫的產(chǎn)生
數(shù)據(jù)倉庫是在數(shù)據(jù)庫基礎(chǔ)上發(fā)展而來的，通常包含三個部分內(nèi)容：數(shù)據(jù)倉庫、聯(lián)機分析處理(0-LAP-On-Line Transaction Process)、數(shù)據(jù)挖掘(Data Mining)。從數(shù)據(jù)庫到數(shù)據(jù)倉庫的源驅(qū)動力來自組織或企業(yè)的業(yè)務(wù)發(fā)展需求。
早期的數(shù)據(jù)庫系統(tǒng)主要應(yīng)用于日常事務(wù)的操作性處理，即OLTP，重點在于完成事務(wù)處理，在短時間內(nèi)給予用戶響應(yīng)，服務(wù)于操作型業(yè)務(wù)需求，可以稱之為“操作型數(shù)據(jù)庫”。
隨著業(yè)務(wù)應(yīng)用不斷拓展，以及市場競爭不斷加劇，數(shù)據(jù)分析師和企業(yè)家們發(fā)現(xiàn)僅僅依靠聯(lián)機事務(wù)處理系統(tǒng)OLTP已經(jīng)不足以獲得市場競爭的優(yōu)勢，希望能夠從龐大的日常業(yè)務(wù)數(shù)據(jù)以及歷史歸檔數(shù)據(jù)中，分析發(fā)掘出潛在的、規(guī)律性的、更有價值的信息。用于對企業(yè)的業(yè)務(wù)運作以及市場的行業(yè)態(tài)勢進行分析判斷，從而做出正確的決策。這就推動了數(shù)據(jù)倉庫的產(chǎn)生，即服務(wù)于分析型業(yè)務(wù)需求的系統(tǒng)，可以稱之為“分析型數(shù)據(jù)庫”。
將操作型(事務(wù)處理)數(shù)據(jù)庫系統(tǒng)與分析型(決策支持)數(shù)據(jù)庫系統(tǒng)分離，主要有以下五個原因：
(1)業(yè)務(wù)應(yīng)用的響應(yīng)時間不同
在操作型(事務(wù)處理)計算環(huán)境中，其業(yè)務(wù)應(yīng)用的處理特點是數(shù)據(jù)的存取操作頻率高，而每次操作處理的時間短。因此，用戶的業(yè)務(wù)請求往往在很短時間內(nèi)即可完成，使得系統(tǒng)在多用戶并發(fā)訪問的情況下，也可以保持較高的實時響應(yīng)速度。
在分析型(決策支持)計算環(huán)境中，其決策分析問題的解決，往往需要遍歷數(shù)據(jù)庫中的大部分數(shù)據(jù)，不僅需要消耗大量的系統(tǒng)資源，還可能導(dǎo)致長達數(shù)小時的運行。因此，用戶的業(yè)務(wù)請求并不要求瞬間響應(yīng)，只要在允許的時間里給予響應(yīng)即可。
(2)數(shù)據(jù)需求的集成要求不同
在操作型數(shù)據(jù)庫中，數(shù)據(jù)往往是分散而非集成的。主要原因有操作型(事務(wù)處理)應(yīng)用分散的問題、“蜘蛛網(wǎng)”問題、數(shù)據(jù)不一致問題、外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等問題。
在分析型數(shù)據(jù)庫中，首先需要解決的就是“數(shù)據(jù)集成”的問題。只有全面、廣泛、準確、相關(guān)的數(shù)據(jù)收集和有效集成，才有可能得到可信的分析結(jié)果。
(3)歷史數(shù)據(jù)的使用價值不同
操作型(事務(wù)處理)系統(tǒng)一般只處理當前數(shù)據(jù)，在數(shù)據(jù)庫中也只是短期存儲數(shù)據(jù)，且不同數(shù)據(jù)的保存期限也不一樣，即使有一些歷史數(shù)據(jù)保存下來了，無特殊需求一般不再訪問。
在分析型(決策支持)系統(tǒng)中，歷史數(shù)據(jù)是相當重要的，因為聯(lián)機分析處理與數(shù)據(jù)挖掘都需要以大量的、詳細的、且有一定時間、空間跨度的歷史數(shù)據(jù)為基礎(chǔ)，才可能發(fā)現(xiàn)潛在發(fā)展規(guī)律和趨勢走向。
(4)服務(wù)支持的用戶對象不同
操作型(事務(wù)處理)系統(tǒng)直接面向業(yè)務(wù)操作人員，提供數(shù)據(jù)處理支持。
分析型(決策支持)系統(tǒng)面向使用本系統(tǒng)的業(yè)務(wù)者和中高層管理人員，提供決策分析支持。
(5)數(shù)據(jù)的綜合問題
在事務(wù)處理系統(tǒng)中積累了大量的細節(jié)數(shù)據(jù)，一般而言，DSS并不對這些細節(jié)數(shù)據(jù)進行分析。在分析前，往往需要對細節(jié)數(shù)據(jù)進行不同程度的綜合。而事務(wù)處理系統(tǒng)不具備這種綜合能力，根據(jù)數(shù)據(jù)庫的規(guī)范化理論，這種綜合還往往因為是一種數(shù)據(jù)冗余而加以限制。這也是二者相矛盾的地方。
綜上所述，要提高分析和決策的有效性，必須把分析型數(shù)據(jù)從操作型(事務(wù)處理)環(huán)境中分離出來，按照分析型(決策支持)系統(tǒng)處理的需要進行重新組織，建立相應(yīng)的分析處理環(huán)境。數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲、組織和處理技術(shù)。#p#
3 數(shù)據(jù)倉庫的概念模型與功能
數(shù)據(jù)倉庫是一種體系結(jié)構(gòu)而不是一種技術(shù)。數(shù)據(jù)倉庫和數(shù)據(jù)庫及其他技術(shù)之間的關(guān)系就像體系結(jié)構(gòu)與技術(shù)本身之間的關(guān)系。數(shù)據(jù)倉庫的概念結(jié)構(gòu)包含：數(shù)據(jù)源、數(shù)據(jù)準備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具等，如圖l所示。
從圖1可以看出，數(shù)據(jù)倉庫的創(chuàng)建、應(yīng)用，可以利用各種數(shù)據(jù)倉庫管理工具輔助完成。數(shù)據(jù)倉庫建立之后，首先要從“數(shù)據(jù)源”中抽取相關(guān)的數(shù)據(jù)到“數(shù)據(jù)準備區(qū)”；在“數(shù)據(jù)準備區(qū)”中經(jīng)過凈化處理后，再加載到“數(shù)據(jù)倉庫數(shù)據(jù)庫”；***根據(jù)用戶的需求將數(shù)據(jù)導(dǎo)入“數(shù)據(jù)集市”或“知識挖掘庫”中。用戶在使用數(shù)據(jù)倉庫時，主要利用兩類應(yīng)用工具：一類是聯(lián)機分析處理(On-Line Analvtica1 Processing)，主要用于分析歷史發(fā)展變化；另一類是數(shù)據(jù)挖掘(Date Mining) ，主要用于預(yù)測未來趨勢走向。
圖2展示的是數(shù)據(jù)倉庫的完整體系結(jié)構(gòu)，一個數(shù)據(jù)倉庫的實施是按照圖2所示的過程進行的，也可以將圖2看做是數(shù)據(jù)倉庫的工程實施方法論。
圖2數(shù)據(jù)倉庫的體系結(jié)構(gòu)
數(shù)據(jù)倉庫的實施分數(shù)據(jù)獲取、數(shù)據(jù)組織、數(shù)據(jù)應(yīng)用和數(shù)據(jù)展示四個功能區(qū)。
(1)數(shù)據(jù)獲取區(qū)
數(shù)據(jù)獲取區(qū)主要包含數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換區(qū)、數(shù)據(jù)質(zhì)量管理三個組成部分，實現(xiàn)數(shù)據(jù)倉庫模型建設(shè)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)源的定義、數(shù)據(jù)抽取、轉(zhuǎn)換清洗及加載等功能。
① 數(shù)據(jù)源
即數(shù)據(jù)倉庫中的數(shù)據(jù)來源，既包含組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)、歷史數(shù)據(jù)、辦公數(shù)據(jù)等，也包括互聯(lián)網(wǎng)卜的相關(guān)Web數(shù)據(jù)，以及部分其他數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)。
目前在國土資源行業(yè)中，就有大量的地政管理基礎(chǔ)數(shù)據(jù)庫和礦政管理基礎(chǔ)數(shù)據(jù)庫：如 1:50萬全國土地利用數(shù)據(jù)庫、***土地利用數(shù)據(jù)庫、土地利用遙感監(jiān)測數(shù)據(jù)庫、***建設(shè)用地數(shù)據(jù)庫、全國礦業(yè)權(quán)管理數(shù)據(jù)庫、全國油氣礦產(chǎn)儲量數(shù)據(jù)庫等，還有一些歷史數(shù)據(jù)、辦公數(shù)據(jù)以及非結(jié)構(gòu)化的數(shù)據(jù)等，均可作為國土數(shù)據(jù)倉庫的數(shù)據(jù)源。
② 數(shù)據(jù)轉(zhuǎn)換區(qū)(ETL)
由于數(shù)據(jù)倉庫的數(shù)據(jù)來源十分復(fù)雜，這些數(shù)據(jù)在進入數(shù)據(jù)倉庫之前必須在數(shù)據(jù)轉(zhuǎn)換區(qū)內(nèi)進行預(yù)處理，完成數(shù)據(jù)獲取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載等工作，并實現(xiàn)數(shù)據(jù)質(zhì)量跟蹤監(jiān)控以及元數(shù)據(jù)抽取與創(chuàng)建等工作。
③ 數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量不但影響數(shù)據(jù)抽取轉(zhuǎn)換的開發(fā)周期和日常維護，并且還直接影響到最終結(jié)果。因此在數(shù)據(jù)倉庫的項目中，將數(shù)據(jù)質(zhì)量的評估、管理和清洗設(shè)計進去，并融合在數(shù)據(jù)倉庫和ETL的建設(shè)過程中。
(2)數(shù)據(jù)組織區(qū)和數(shù)據(jù)應(yīng)用區(qū)
數(shù)據(jù)組織區(qū)和數(shù)據(jù)應(yīng)用區(qū)主要實現(xiàn)數(shù)據(jù)的存儲與管理。數(shù)據(jù)倉庫的數(shù)據(jù)組織管理方式?jīng)Q定了其有別于傳統(tǒng)數(shù)據(jù)庫的特性，也決定了對外的數(shù)據(jù)表現(xiàn)形式。主要技術(shù)涉及多維數(shù)據(jù)庫、海量數(shù)據(jù)管理、數(shù)據(jù)索引與監(jiān)視、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等方面。
數(shù)據(jù)組織區(qū)包含了數(shù)據(jù)倉庫建模，以及數(shù)據(jù)的集成與分解、概括與聚集、預(yù)算與推導(dǎo)、翻譯與格式化、轉(zhuǎn)換與映像等功能。元數(shù)據(jù)管理主要包含了元數(shù)據(jù)游覽與導(dǎo)航，元數(shù)據(jù)創(chuàng)建，創(chuàng)建詞匯表等功能。
數(shù)據(jù)倉庫實體模型是直接反映數(shù)據(jù)倉庫業(yè)務(wù)的邏輯視窗，根據(jù)組織的業(yè)務(wù)發(fā)展規(guī)劃與策略而制定。實體模型的設(shè)計應(yīng)由業(yè)務(wù)人員與模型專家共同完成，要統(tǒng)籌規(guī)劃、總體設(shè)計、分步實施，既要考慮模型的完整性、靈活性，也要關(guān)注擴展能力和時效性，可以先從業(yè)務(wù)問題緊迫、數(shù)據(jù)源較完備的主題入手。實體模型設(shè)計一般采用第三范式、星型模型、雪花狀模型等。
數(shù)據(jù)倉庫的存取與使用主要為用戶提供決策分析和知識挖掘等功能，包括數(shù)據(jù)倉庫存取與檢索、分析與報告兩部分功能。其中，數(shù)據(jù)倉庫的存取與檢索為用戶提供了訪問數(shù)據(jù)倉庫或數(shù)據(jù)集市的功能，可以將用戶所檢索的數(shù)據(jù)轉(zhuǎn)換為多維數(shù)據(jù)并存入多維數(shù)據(jù)庫，包含數(shù)據(jù)倉庫的直接存取，數(shù)據(jù)集市存取，數(shù)據(jù)集市重整，轉(zhuǎn)換為多維結(jié)構(gòu)，創(chuàng)建局部存儲等功能;數(shù)據(jù)倉庫的分析與報告為用戶使用數(shù)據(jù)倉庫提供了一組工具，用于幫助用戶對數(shù)據(jù)倉庫或數(shù)據(jù)集市進行聯(lián)機分析或數(shù)據(jù)挖掘，包括報表處理、分析與決策支持、業(yè)務(wù)建模與分析、數(shù)據(jù)挖掘等工具。
(3)數(shù)據(jù)展示區(qū)
數(shù)據(jù)展示區(qū)是數(shù)據(jù)倉庫的人機會話接口，包含了多維分析、數(shù)理統(tǒng)計、報表查詢、即席查詢、關(guān)鍵績效指標監(jiān)控和數(shù)據(jù)挖掘等功能，并通過報表、圖形和其它分析工具，方便用戶簡便、快捷地訪問數(shù)據(jù)倉庫系統(tǒng)中的各種數(shù)據(jù)，得到分析結(jié)果。
數(shù)據(jù)展示區(qū)常用的標準報表和即席查詢報表是基于各類結(jié)構(gòu)化數(shù)據(jù)的報表輸出，而各類結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容包含關(guān)系型數(shù)據(jù)庫、多維數(shù)據(jù)庫、XML、文本及其他數(shù)據(jù)結(jié)構(gòu)等。
4 數(shù)據(jù)倉庫的相關(guān)技術(shù)
數(shù)據(jù)倉庫構(gòu)建了數(shù)據(jù)集市，這是面向某一主題、某一業(yè)務(wù)過程或者某一組業(yè)務(wù)過程應(yīng)用的“數(shù)據(jù)倉庫”，是企業(yè)級數(shù)據(jù)倉庫的一個子集。
聯(lián)系源數(shù)據(jù)與數(shù)據(jù)倉庫的是數(shù)據(jù)登臺區(qū)，它是一個數(shù)據(jù)獲取過程，主要由數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、清洗(Cleansing)、裝載(Load)等一系列工作構(gòu)成，用于從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。
聯(lián)機分析處理主要用于對歷史發(fā)展規(guī)律進行分析，滿足在多維環(huán)境下特定的查詢和報表需求，提供決策支持。聯(lián)機分析處理(On-Line Analytical Processing)是一種普遍查詢過程，能夠根據(jù)分析人員的要求，迅速、靈活地對大量數(shù)據(jù)進行復(fù)雜的查詢處理，并以直觀、容易理解的形式將查詢結(jié)果提交給決策人員。
數(shù)據(jù)挖掘是一種決策支持過程，基于人工智能、機器學(xué)習(xí)、神經(jīng)計算、統(tǒng)計分析等技術(shù)，能夠自動化地分析數(shù)據(jù)倉庫中的數(shù)據(jù)，進行歸納性推理和聯(lián)想，尋找數(shù)據(jù)間的某種內(nèi)在聯(lián)系，從中發(fā)掘出潛在的、對信息預(yù)測和決策行為起著十分重要作用的模式，輔助決策支持。數(shù)據(jù)挖掘主要用于對未來發(fā)展趨勢進行預(yù)測。元數(shù)據(jù)作為數(shù)據(jù)的數(shù)據(jù)，主要用于對數(shù)據(jù)倉庫中的各種數(shù)據(jù)進行詳細的描述和說明，主要分為靜態(tài)元數(shù)據(jù)和動態(tài)元數(shù)據(jù)兩大類：靜態(tài)元數(shù)據(jù)主要與數(shù)據(jù)結(jié)構(gòu)有關(guān)，包含名稱、描述、格式、數(shù)據(jù)類型、關(guān)系、域、業(yè)務(wù)規(guī)則等類;動態(tài)元數(shù)據(jù)主要與數(shù)據(jù)的狀態(tài)及使用方法有關(guān)，包括數(shù)據(jù)質(zhì)量、統(tǒng)計信息、狀態(tài)、處理等類。
Ad hoc query：即席查詢，數(shù)據(jù)庫應(yīng)用最普遍的一種查詢，利用數(shù)據(jù)倉庫技術(shù)，可以讓用戶隨時可以面對數(shù)據(jù)庫，獲取所希望的數(shù)據(jù)。
【編輯推薦】
