一、引言

隨著企業(yè)數(shù)據規(guī)模的增長，數(shù)據的價值變得越來越重要。然而，傳統(tǒng)的數(shù)據庫在承載大量數(shù)據時面臨挑戰(zhàn)，需要高效有序的維護。因此，建立高效的數(shù)據倉庫成為了企業(yè)決策和管理的基石，但現(xiàn)代技術的背景下，數(shù)據管理和保護仍然存在著重要挑戰(zhàn)。

為了解決這些挑戰(zhàn)，數(shù)據分層成為了數(shù)倉建設中不可或缺的步驟之一。通過對數(shù)據的分層整理，不同的數(shù)據可以被合理地分類，方便企業(yè)快速進行數(shù)據分析和決策。

在實際應用中，數(shù)據分層需要進行靈活而有效的規(guī)劃和設計，并結合相關的技術和工具進行管理和監(jiān)控。只有這樣，企業(yè)才能提高決策和管理的效率，增強市場競爭力。

二、了解數(shù)據分層

什么是數(shù)據分層

數(shù)據分層是一種管理海量數(shù)據的方法。因為數(shù)據通常會包括許多不同的來源，而這些來源往往也會以不同的方式存儲和處理數(shù)據。這就是為什么需要使用數(shù)據分層。通過將數(shù)據分級存儲、加工和管理，可以更好地維護數(shù)據一致性、數(shù)據安全和數(shù)據復用。

數(shù)據分層前后對比

為什么需要使用數(shù)據分層

如果把數(shù)據看作圖書館里的書，我們希望看到它們在書架上分門別類地放置；如果把數(shù)據看作城市的建筑，我們希望城市規(guī)劃布局合理；如果把數(shù)據看作電腦文件和文件夾，我們希望按照自己的習慣有很好的文件夾組織方式，而不是糟糕混亂的桌面，經常為找一個文件而不知所措。

簡單來說，數(shù)據分層是將現(xiàn)實世界中收集到的有效信息，按照其特點和用途進行分類和組織，從而更加合理地表現(xiàn)數(shù)據的價值。數(shù)據分層解決了數(shù)據管理中的各種挑戰(zhàn)和問題，并滿足了以下幾個方面的需求：

1.數(shù)據量和質量——提高數(shù)據管理效率和準確性

• 隨著企業(yè)數(shù)據不斷增長，數(shù)據量龐大且多樣化，數(shù)據質量也面臨挑戰(zhàn)。
• 數(shù)據分層可以對不同的數(shù)據類別進行基本的數(shù)據清洗和整理，從而提高數(shù)據的質量和可信度。
• 常見的數(shù)據類別包括：

數(shù)值型數(shù)據（如銷售額、成本等）

文本型數(shù)據（如文件、文檔等）

圖像型數(shù)據

視頻型數(shù)據

音頻型數(shù)據

2.數(shù)據來源和結構——促進數(shù)據集成和共享

• 不同數(shù)據源和系統(tǒng)中的數(shù)據結構和格式差異巨大，使得數(shù)據之間無法直接進行比較和集成。
• 數(shù)據分層通過對不同的數(shù)據類別進行轉換、整合和標準化，以實現(xiàn)數(shù)據的一致性和互操作性。
• 常見的數(shù)據類別包括：

結構化數(shù)據（如關系型數(shù)據庫中的表格數(shù)據）

半結構化數(shù)據（如JSON、XML等非嚴格格式化數(shù)據）

非結構化數(shù)據（如文本、日志等無固定格式的數(shù)據）

3.數(shù)據定位和權限控制——加強數(shù)據安全和合規(guī)性

• 隨著多個部門和用戶共享數(shù)據的需求增加，需要確保數(shù)據的定位清晰且能夠進行精確的權限控制。
• 數(shù)據分層可以明確每個數(shù)據類別的歸屬和訪問權限，保障數(shù)據的安全性和隱私保護。
• 常見的數(shù)據類別包括：

個人身份數(shù)據（如個人身份證號碼、手機號碼等）

機密數(shù)據（如公司財務數(shù)據、合同等）

敏感數(shù)據（如用戶的健康狀況、信用卡信息等）

4.數(shù)據處理流程和效率——增強數(shù)據價值和應用

• 數(shù)據處理過程中不合理的流程和冗余操作可能導致數(shù)據的重復和浪費。
• 數(shù)據分層可以建立規(guī)范和優(yōu)化的數(shù)據處理流程，以提高數(shù)據處理的效率和準確性。
• 常見的數(shù)據類別包括：

處理過程中生成的臨時數(shù)據

派生數(shù)據（如計算指標和數(shù)據挖掘結果）

集成數(shù)據（如數(shù)據倉庫中的整合數(shù)據）

5.數(shù)據歸檔和壓縮——降低數(shù)據管理和使用成本

• 通過對數(shù)據進行歸檔和壓縮，可以減少存儲空間的占用。
• 根據數(shù)據的使用頻率和價值，將不常訪問的數(shù)據歸檔到較廉價但仍可靠的存儲介質中，從而釋放出更多高速和高成本存儲設備的存儲空間。
• 常見的數(shù)據類別包括：

歷史數(shù)據（如過去幾年的銷售訂單數(shù)據）

備份數(shù)據（如系統(tǒng)的數(shù)據庫備份）

歸檔數(shù)據（如長期存儲的審計日志）

三、數(shù)據分層的邏輯

數(shù)據有哪些分層

了解了數(shù)據分層的一些優(yōu)勢，大家可能就有疑問了。我們如何進行數(shù)據分層呢？大概需要分幾層呢？

其實這個問題需要根據實際的業(yè)務狀況以及需要處理的數(shù)據體量來進行劃分，介紹分層之前，咱們先來了解下會有哪些分層，每層的作用和目的是啥。

圖片

如何進行數(shù)據分層

下面以一個互聯(lián)網在線學習平臺為例：

如果想要從學生、教師和課程等不同維度進行深入的數(shù)據分析和挖掘，則單一的數(shù)據源無法滿足這一需求，必須進行數(shù)據分層，將數(shù)據按照不同的層次進行清洗和整合，并與不同維度的數(shù)據進行連接和關聯(lián)。如果不進行數(shù)據分層的處理，數(shù)據的管理和維護將變得非常困難，同時也會導致數(shù)據的準確性和可靠性受到影響。

此外，如果各個業(yè)務之間的數(shù)據交互和處理沒有進行優(yōu)化和規(guī)劃，數(shù)據處理在不同業(yè)務之間的流轉和傳遞就會變得十分復雜，這對平臺的運營效率和效果產生不良影響。同時無法為用戶提供更好的個性化服務，因為個性化服務需要對用戶的屬性、偏好和需求進行深入的了解和分析。

因此，數(shù)據分層處理對于在線學習平臺的優(yōu)化是十分必要的：

圖片

從這個案例可以分析出，通過數(shù)據分層設計帶來如下價值：

1. 更準確的數(shù)據收集和管理：通過ODS層的操作數(shù)據層，平臺可以對學生和教師的注冊信息、學習行為數(shù)據進行更準確地收集和管理，保證數(shù)據的真實可靠性。
2. 更深入的數(shù)據分析：借助DWD層的數(shù)據倉庫明細層，平臺可以深入分析學生的學習行為，如觀看視頻的時長、做題的次數(shù)等。同時，通過課程維度表的建立，也可對課程信息進行更詳盡的分析。
3. 更全面的數(shù)據匯總：在DWS層的數(shù)據倉庫匯總層中，平臺可以對學生的學習行為和成績情況進行詳細匯總、分析和展示，同時可以綜合考慮課程信息，制作出更詳盡的報告。這樣做可以方便平臺進行更全面的數(shù)據分析和統(tǒng)計，也可為教師和學生提供更有效的反饋和建議。
4. 更靈活的數(shù)據維護：在DIM層的維度數(shù)據層中，平臺可以對學生、教師和課程等屬性信息進行維護和管理，方便后續(xù)數(shù)據分析和應用。同時，這些維度表也可以根據實際需求不斷調整和擴展，增強平臺的數(shù)據分析和應用能力。
5. 更精準的數(shù)據應用：在ADS層的應用數(shù)據層中，平臺可以根據學生和教師的數(shù)據情況，進行更精準的教學評估、學習進度分析和課程推薦等功能。這樣，平臺可以為教師和學生提供更精準、個性化的服務，提高用戶體驗和平臺價值。

數(shù)據分層的優(yōu)勢

由上述案例可見，數(shù)據倉庫的分層設計具有諸多價值，能夠提升數(shù)據管理效率、簡化復雜問題處理、提高數(shù)據復用能力，并為平臺提供規(guī)范化的數(shù)據管理和分析支持:

1. 提供方便使用的數(shù)據結構：通過規(guī)范化的數(shù)據分層設計，使得學生、教師和課程等不同維度的數(shù)據能夠被清晰地定位和理解，方便使用方進行數(shù)據分析和挖掘。
2. 追溯數(shù)據源頭：分層后的數(shù)據血緣關系清晰明確，能夠快速準確地追蹤數(shù)據的來源，幫助用戶了解數(shù)據的可靠性和可信度。
3. 提高數(shù)據的維護效率：通過數(shù)據分層的規(guī)范化設計，可以減少數(shù)據開發(fā)的工作量，節(jié)約計算和存儲資源的使用，同時方便維護人員進行數(shù)據管理和維護操作。
4. 簡化復雜問題的處理：將復雜的業(yè)務問題劃分為多個步驟，并在每一層只處理單一的步驟，有助于提高問題的可控性和可理解性。當數(shù)據出現(xiàn)問題時，只需要修復有問題的部分，而不需要對所有數(shù)據進行修復。
5. 提升數(shù)據的復用能力：通過規(guī)范化的數(shù)據分層設計，可以開發(fā)一些通用的中間層數(shù)據，減少重復計算，提高業(yè)務表的使用率，從而提升系統(tǒng)的執(zhí)行效率。
6. 減少業(yè)務變化的影響：由于業(yè)務可能會經常變化，通過數(shù)據分層設計，無需每次業(yè)務變化都重新接入數(shù)據，降低了對業(yè)務的影響和改動的成本。
7. 統(tǒng)一數(shù)據指標口徑：通過數(shù)據分層設計，提供統(tǒng)一的數(shù)據出口和對外輸出的數(shù)據指標口徑，保證數(shù)據的一致性和統(tǒng)一性，為平臺提供規(guī)范化的數(shù)據管理和分析支持。

四、得物數(shù)據分層的案例介紹

背景

為了幫助公司了解員工對公司目標、文化、薪酬福利、職業(yè)發(fā)展、工作環(huán)境等方面的滿意度和需求，有助于識別問題、改善環(huán)境、增加團隊凝聚力，從而提高員工的工作效率和工作滿意度。得物每年會進行兩次全司的員工滿意度調研，從中挖掘出有價值的指標，以便更好地了解員工需求并制定相應的改進計劃。

數(shù)據分析痛點

員工滿意度數(shù)據分析中，存在以下痛點需注意：

• 業(yè)務邏輯復雜：為維護員工隱私，指標的計算需要滿足填答人數(shù)必須大于3才能出統(tǒng)計數(shù)據。這一規(guī)則的設計，增加了數(shù)據處理的難度，提高數(shù)據出錯的風險。
• 復雜的統(tǒng)計維度和指標：統(tǒng)計維度多樣化，包括性別、年齡、司齡、崗位、職級等等，這也給數(shù)據的處理和分析增加了難度。
• 業(yè)務變更頻繁：員工滿意度調查問卷在不同周期會增加、刪除、變更題目。這也增加了數(shù)據處理和維護的難度和工作量。

設計數(shù)據分層

為了解決上述痛點和需求，我們決定設計數(shù)據分層。通過將數(shù)據劃分為不同層次，將數(shù)據處理、分析和服務化的流程分解成多個獨立部分，從而最大限度地提高數(shù)據分析處理的效率和安全性。

數(shù)據分層不僅實現(xiàn)了數(shù)據的可視化維護和服務化，還為數(shù)據加工、應用和管理提供了更加清晰和規(guī)范化的指導方針，從而助力業(yè)務的發(fā)展和優(yōu)化。

操作數(shù)據存儲層ODS

ODS層的設計目標是捕獲和保存原始數(shù)據，以便后續(xù)的數(shù)據清洗、整合和轉換。在這一層，數(shù)據通常以源系統(tǒng)的格式保存，保留了數(shù)據的完整性和粒度，并提供了適當?shù)臄?shù)據結構和字段以支持后續(xù)的轉換處理。

圖片

明細數(shù)據層DWD

DWD層的設計目標是提供清洗、結構化和可查詢的明細數(shù)據，以滿足企業(yè)不同業(yè)務需求和分析要求。在DWD層，數(shù)據已經經過了一系列的清洗和轉換過程，包括校驗、敏感數(shù)據加密、去重、標準化、格式化和結構調整等，以確保數(shù)據的準確性、完整性和一致性。

圖片

匯總數(shù)據層DWS

DWD層的數(shù)據分散且過于細節(jié)化，難以支持更高層次的分析和決策。此時就需要使用DWS層對DWD層的數(shù)據進行匯總和聚合，以得到更高層次的數(shù)據信息。從而提供大量的元數(shù)據、預先計算的指標和快速數(shù)據查詢等功能。

DWS層的數(shù)據通常具有更高的抽象層次，可以根據不同的業(yè)務需要進行不同的聚合方式，比如按照性別、年齡、司齡等粒度提供滿意度指標1，滿意度指標2等匯總指標。

圖片

維度層DIM

DIM層可以看作是用來對數(shù)據進行分類、分組和篩選的“標簽”。它通常是一些描述性的屬性或特征，對數(shù)據進行了翻譯和轉換。

例如，對于系統(tǒng)滿意度事實表，可以將維度層分為系統(tǒng)安全、系統(tǒng)性能、系統(tǒng)體驗、系統(tǒng)穩(wěn)定性等屬性信息，這些屬性可以對滿意度調研數(shù)據進行分類、分組和篩選，幫助系統(tǒng)負責人更好地優(yōu)化產品和服務。

圖片

數(shù)據應用層ADS

ADS是數(shù)據倉庫中最接近用戶和應用系統(tǒng)的一層，也是企業(yè)數(shù)據分析和應用的重要來源和基礎。它的主要作用是將數(shù)據倉庫中的數(shù)據用于企業(yè)的業(yè)務運營、決策分析、客戶服務等方面，為用戶和應用系統(tǒng)提供便利的數(shù)據訪問和操作接口。

在設計和實施數(shù)據應用層ADS時，需要考慮以下因素：

1. 數(shù)據質量：數(shù)據應用層的數(shù)據質量直接影響企業(yè)的業(yè)務應用效果和決策分析結果。因此，在實施數(shù)據應用層時需要嚴格控制數(shù)據質量，保證數(shù)據的準確性、完整性和一致性。
2. 安全性：數(shù)據在應用層的使用涉及到企業(yè)的核心業(yè)務和敏感數(shù)據，因此，在設計和實施數(shù)據應用層時需要考慮數(shù)據安全的問題，采取一定的安全措施和技術手段，例如數(shù)據加密、權限控制等，確保數(shù)據安全和保密。
3. 可維護性：數(shù)據應用層是企業(yè)應用的基礎，其穩(wěn)定性和可維護性對企業(yè)長期發(fā)展至關重要。因此，在實施和應用數(shù)據應用層時需要考慮系統(tǒng)的可靠性、可擴展性和可維護性，例如數(shù)據備份、故障恢復、日志記錄等。

圖片

總結

在這個案例中，我們遇到了許多困難，如數(shù)據權限限制、業(yè)務邏輯復雜、統(tǒng)計維度多樣、業(yè)務變更頻繁等，這些困難給數(shù)據的處理和分析帶來了很大的難度和不便。

由于數(shù)據的分析是一個復雜的過程，可以采用數(shù)據分層的方法來解決這些問題。數(shù)據分層將數(shù)據處理、分析和服務化的流程分解成多個獨立部分，從而最大限度地提高數(shù)據分析處理的效率和安全性。通過將數(shù)據劃分為不同層次，數(shù)據分層實現(xiàn)了數(shù)據的可視化維護和服務化，為數(shù)據加工、應用和管理提供了更加清晰和規(guī)范化的指導方針，從而助力業(yè)務的發(fā)展和優(yōu)化。

五、寫在末尾

數(shù)據分層帶來的一些問題

雖然數(shù)據分層設計帶來了許多優(yōu)點和價值，但也存在一些缺點。其中，主要包括以下幾點：

1. 復雜性增加：數(shù)據分層設計的實現(xiàn)需要付出一定的設計與維護成本，需要建立與維護多個層級，有時出現(xiàn)數(shù)據結構紊亂、重復等問題可能會使得整個數(shù)據分層變得更加復雜。
2. 數(shù)據冗余：因為數(shù)據分層設計需要建立多個層級，可能會引入一定的數(shù)據冗余問題，導致數(shù)據冗余或重復使用。
3. 需要專業(yè)的技術人員：由于數(shù)據分層設計需要大量的技術編程和數(shù)據建模知識，需要專業(yè)的技術人員進行開發(fā)和維護。這會給公司帶來額外的專業(yè)技術成本和困難。
4. 數(shù)據倉庫容量問題：隨著數(shù)據分層設計的層數(shù)增加，數(shù)據倉庫的大小和存儲容量也會相應增加，可能會帶來一定的存儲管理問題。

因此，在實際數(shù)據倉庫建設中，合理利用數(shù)據分層來組織、管理和分析數(shù)據是非常重要的。數(shù)據分層需要根據實際情況和企業(yè)需求來調整。

思考

數(shù)據分層在數(shù)倉建設中扮演了一個不可或缺的角色。通過按照一定的規(guī)則和標準，重新組織和歸納數(shù)據，數(shù)據分層可以提高數(shù)據利用率，加強數(shù)據管理，進一步幫助企業(yè)開展科學化、精細化的運營管理和決策分析。

隨著數(shù)據分析技術的進一步發(fā)展，數(shù)據分層也必將不斷優(yōu)化和完善。從數(shù)據分析工具的不斷升級，到人工智能和機器學習技術的應用，數(shù)據分層必將成為企業(yè)數(shù)據管理和決策分析的頭號利器。因此，作為企業(yè)管理者和數(shù)據分析師，必須時刻關注數(shù)據分層技術的發(fā)展趨勢和變化，及時調整和優(yōu)化自己的數(shù)據分層管理方案，保證企業(yè)數(shù)據管理和決策分析的高效性和準確性。