做數倉必須搞明白的各種名詞及關系，吐血整理
作為一個數據人，是不是經常被各種名詞圍繞，是不是對其中很多概念認知模糊。有些詞雖然只有一字之差，但是它們意思完全不同，今天我們就來了解下數倉建設及數據分析時常見的一些概念含義及它們之間的關系。
本文結構如下圖所示：
01數倉中常見概念解析
1. 實體
實體是指依附的主體，就是我們分析的一個對象，比如我們分析商品的銷售情況，如華為手機近半年的銷售量是多少，那華為手機就是一個實體；我們分析用戶的活躍度，用戶就是一個實體。當然實體也可以現實中不存在的，比如虛擬的業務對象，活動，會員等都可看做一個實體。
實體的存在是為了業務分析，作為分析的一個篩選的維度，擁有描述自己的屬性，本身具有可分析的價值。
2. 維度
維度就是看待問題的角度，分析業務數據，從什么角度分析，就建立什么樣的維度。所以維度就是要對數據進行分析時所用的一個量，比如你要分析產品銷售情況，你可以選擇按商品類別來進行分析，這就構成一個維度，把所有商品類別集合在一起，就構成了維度表。
3. 度量
度量是業務流程節點上的一個數值。比如銷量，價格，成本等等。
事實表中的度量可分為三類：完全可加，半可加，不可加。
- 完全可加的度量是最靈活，最有用的，比如說銷量，銷售額等，可進行任意維度匯總；
- 半可加的度量可以對某些維度匯總，但不能對所有維度匯總，差額是常見的半可加度量，它除了時間維度外，可以跨所有維度進行加法操作；
- 還有一種是完全不可加的，例如：比率。對于這類非可加度量，一種好的方法是，盡可能存儲非可加度量的完全可加分量，并在計算出最終的非可加事實前，將這些分量匯總到最終的結果集中。
4. 粒度
粒度就是業務流程中對度量的單位，比如商品是按件記錄度量，還是按批記錄度量。
在數倉建設中，我們說這是用戶粒度的事實表，那么表中每行數據都是一個用戶，無重復用戶；例如還有銷售粒度的表，那么表中每行都是一條銷售記錄。
選擇合適的粒度級別是數據倉庫建設好壞的重要關鍵內容，在設計數據粒度時，通常需重點考慮以下因素：
- 要接受的分析類型、可接受的數據最低粒度和能存儲的數據量；
- 粒度的層次定義越高，就越不能在該倉庫中進行更細致的分析；
- 如果存儲資源有一定的限制，就只能采用較高的數據粒度劃分；
- 數據粒度劃分策略一定要保證：數據的粒度確實能夠滿足用戶的決策分析需要，這是數據粒度劃分策略中最重要的一個準則。
5. 口徑
口徑就是取數邏輯（如何取數的），比如要取的數是10歲以下兒童中男孩的平均身高，這就是統計的口徑。
6. 指標
指標是口徑的衡量值，也就是最后的結果。比如最近七天的訂單量，一個促銷活動的購買轉化率等。
一個指標具體到計算實施，主要有以下幾部分組成：
- 指標加工邏輯，比如count ,sum, avg
- 維度，比如按部門、地域進行指標統計，對應sql中的group by
- 業務限定/修飾詞，比如以不同的支付渠道來算對應的指標，微信支付的訂單退款率，支付寶支付的訂單退款率 。對應sql中的where。
除此之外，指標本身還可以衍生、派生出更多的指標，基于這些特點，可以將指標進行分類：
- 原子指標：基本業務事實，沒有業務限定、沒有維度。比如訂單表中的訂單量、訂單總金額都算原子指標；
業務方更關心的指標，是有實際業務含義，可以直接取數據的指標。比如店鋪近1天訂單支付金額就是一個派生指標，會被直接在產品上展示給商家看。
但是這個指標卻不能直接從數倉的統一中間層里取數（因為沒有現成的事實字段，數倉提供的一般都是大寬表）。需要有一個橋梁連接數倉中間層和業務方的指標需求，于是便有了派生指標
- 派生指標：維度+修飾詞+原子指標。店鋪近1天訂單支付金額中店鋪是維度，近1天是一個時間類型的修飾詞，支付金額是一個原子指標；
維度：觀察各項指標的角度；
修飾詞：維度的一個或某些值，比如維度性別下，男和女就是2種修飾詞。
- 衍生指標：比如某一個促銷活動的轉化率就是衍生指標，因為需要促銷投放人數指標和促銷訂單數指標進行計算得出。
7. 標簽
標簽是人為設定的、根據業務場景需求，對目標對象運用一定的算法得到的高度精煉的特征標識。可見標簽是經過人為再加工后的結果，如網紅、白富美、蘿莉。對于有歧義的標簽，我們內部可進行標簽區分，比如：蘋果，我們可以定義蘋果指的是水果，蘋果手機才指的是手機。
8. 自然鍵
由現實中已經存在的屬性組成的鍵，它在業務概念中是唯一的，并具有一定的業務含義，比如商品ID，員工ID。
以數倉角度看，來自于業務系統的標識符就是自然鍵，比如業務庫中員工的編號。
9. 持久鍵
保持永久性不會發生變化。有時也被叫做超自然持久鍵。比如身份證號屬于持久鍵。
自然鍵和持久鍵區別：舉個例子就明白了，比如說公司員工離職之后又重新入職，他的自然鍵也就是員工編號發生了變化，但是他的持久鍵身份證號是不變的。
10. 代理鍵
就是不具有業務含義的鍵。代理鍵有許多其他的稱呼：無意義鍵、整數鍵、非自然鍵、人工鍵、合成鍵等。
代理鍵就是簡單的以按照順序序列生產的整數表示。產品行的第1行代理鍵為1，則下一行的代理鍵為2，如此進行。代理鍵的作用僅僅是連接維度表和事實表。
11. 退化維度
退化維度，就是那些看起來像是事實表的一個維度關鍵字，但實際上并沒有對應的維度表，就是維度屬性存儲到事實表中，這種存儲到事實表中的維度列被稱為退化維度。與其他存儲在維表中的維度一樣，退化維度也可以用來進行事實表的過濾查詢、實現聚合操作等。
那么究竟怎么定義退化維度呢？比如說訂單id，這種量級很大的維度，沒必要用一張維度表來進行存儲，而我們進行數據查詢或者數據過濾的時候又非常需要，所以這種就冗余在事實表里面，這種就叫退化維度，citycode這種我們也會冗余在事實表里面，但是它有對應的維度表，所以它不是退化維度。
12. 緩慢變化維
維度建模的數據倉庫中，有一個概念叫Slowly Changing Dimensions，中文一般翻譯成“緩慢變化維”，經常被簡寫為SCD。緩慢變化維的提出是因為在現實世界中，維度的屬性并不是靜態的，它會隨著時間的流逝發生緩慢的變化。這種隨時間發生變化的維度我們一般稱之為緩慢變化維，并且把處理維度表的歷史變化信息的問題稱為處理緩慢變化維的問題，有時也簡稱為處理SCD的問題。
處理緩慢變化維的方法通常分為三種方式：
- 第一種方式是直接覆蓋原值。這樣處理，最容易實現，但是沒有保留歷史數據，無法分析歷史變化信息。第一種方式通常簡稱為“TYPE 1”。
- 第二種方式是添加維度行。這樣處理，需要代理鍵的支持。實現方式是當有維度屬性發生變化時，生成一條新的維度記錄，主鍵是新分配的代理鍵，通過自然鍵可以和原維度記錄保持關聯。第二種方式通常簡稱為“TYPE 2”。
- 第三種方式是添加屬性列。這種處理的實現方式是對于需要分析歷史信息的屬性添加一列，來記錄該屬性變化前的值，而本屬性字段使用TYPE 1來直接覆蓋。這種方式的優點是可以同時分析當前及前一次變化的屬性值，缺點是只保留了最后一次變化信息。第三種方式通常簡稱為“TYPE 3”。
在實際建模中，我們可以聯合使用三種方式，也可以對一個維度表中的不同屬性使用不同的方式，這些，都需要根據實際情況來決定，但目的都是一樣的，就是能夠支持方便的分析歷史變化情況。
13. 微型維度
維度建模中，有一種維度叫minidimension，中文一般翻譯成“微型維度”。微型維度的提出主要是為了解決快變超大維度。
以客戶維度舉例來說，如果維度表中有數百萬行記錄或者還要多，而且這些記錄中的字段又經常變化，這樣的維度表一般稱之為快變超大維度。對于快變超大維度，設計人員一般不會使用TYPE 2的緩慢變化維處理方法，因為大家都不愿意向本來就有幾百萬行的維度表中添加更多的行。
這時，有一項技術可以解決這個問題。解決的方法是，將分析頻率比較高或者變化頻率比較大的字段提取出來，建立一個單獨的維度表。這個單獨的維度表就是微型維度表。
微型維度表有自己的關鍵字，這個關鍵字和原客戶維度表的關鍵字一起進入事實表。有時為了分析的方便，可以把微型維度的關鍵字的最新值作為外關鍵字進入客戶維度表。這時一定要注意，這個外關鍵字必須做TYPE 1型處理。
14. 下鉆
這是在數據分析中常見的概念，下鉆可以理解成增加維的層次，從而可以由粗粒度到細粒度來觀察數據，比如對產品銷售情況分析時，可以沿著時間維從年到月到日更細粒度的觀察數據。從年的維度可以下鉆到月的維度、日的維度等。
15. 上卷
知道了下鉆，上卷就容易理解了，它倆是相逆的操作，所以上卷可以理解為刪掉維的某些層，由細粒度到粗粒度觀察數據的操作或沿著維的層次向上聚合匯總數據。
16. 數據集市
數據集市可以理解為是一種"小型數據倉庫"，它只包含單個主題，且關注范圍也非全局。數據集市可以分為兩種:
- 一種是獨立數據集市，這類數據集市有自己的源數據庫和ETL架構；
另一種是非獨立數據集市，這種數據集市沒有自己的源系統，它的數據來自數據倉庫。當用戶或者應用程序不需要/不必要/不允許用到整個數據倉庫的數據時，非獨立數據集市就可以簡單為用戶提供一個數據倉庫的子集。
02數倉概念之間的關系
1. 實體表，事實表，維度表之間的關系
在Kimball維度建模中有維度與事實，在Inmon范式建模中有實體與關系，如果我們分開兩種建模方式看這些概念比較容易理解。但是目前也出現了不少混合建模方式，兩種建模方式結合起來看，這些概念是不是容易記憶混亂，尤其事實表和實體表，它們之間到底有怎樣區別與聯系，先看下它們各自概念：
- 維度表：維度表可以看成是用戶用來分析一個事實的窗口，它里面的數據應該是對事實的各個方面描述，比如時間維度表，地域維度表，維度表是事實表的一個分析角度。
- 事實表：事實表其實就是通過各種維度和一些指標值的組合來確定一個事實的，比如通過時間維度，地域組織維度，指標值可以去確定在某時某地的一些指標值怎么樣的事實。事實表的每一條數據都是幾條維度表的數據和指標值交匯而得到的。
- 實體表：實體表就是一個實際對象的表，實體表放的數據一定是一條條客觀存在的事物數據，比如說各種商品，它就是客觀存在的，所以可以將其設計一個實體表。實時表只描述各個事物，并不存在具體的事實，所以也有人稱實體表是無事實的事實表。
舉個例子：比如說手機商場中有蘋果手機，華為手機等各品牌各型號的手機，這些數據可以組成一個手機實體表，但是表中沒有可度量的數據。某天蘋果手機賣了15臺，華為手機賣了20臺，這些手機銷售數據屬于事實，組成一個事實表。這樣就可以使用日期維度表和地域維度表對這個事實表進行各種維度分析。
2. 指標與標簽的區別
- 概念不同
指標是用來定義、評價和描述特定事物的一種標準或方式。比如：新增用戶數、累計用戶數、用戶活躍率等是衡量用戶發展情況的指標；
標簽是人為設定的、根據業務場景需求，對目標對象運用一定的算法得到的高度精煉的特征標識。可見標簽是經過人為再加工后的結果，如網紅、白富美、蘿莉。
- 構成不同
指標名稱是對事物質與量兩方面特點的命名；指標取值是指標在具體時間、地域、條件下的數量表現，如人的體重，指標名稱是體重，指標的取值就是120斤；
標簽名稱通常都是形容詞或形容詞+名詞的結構，標簽一般是不可量化的，通常是孤立的，除了基礎類標簽，通過一定算法加工出來的標簽一般都沒有單位和量綱。如將超過200斤的稱為大胖子。
- 分類不同
對指標的分類：
按照指標計算邏輯，可以將指標分為原子指標、派生指標、衍生指標三種類型；
按照對事件描述內容的不同，分為過程性指標和結果性指標；
對標簽的分類：
按照標簽的變化性分為靜態標簽和動態標簽；
按照標簽的指代和評估指標的不同，可分為定性標簽和定量標簽；
指標最擅長的應用是監測、分析、評價和建模。標簽最擅長的應用是標注、刻畫、分類和特征提取。
特別需要指出的是，由于對結果的標注也是一種標簽，所以在自然語言處理和機器學習相關的算法應用場景下，標簽對于監督式學習有重要價值，只是單純的指標難以做到的。而指標在任務分配、績效管理等領域的作用，也是標簽無法做到的。
3. 維度和指標區別與聯系
維度就是數據的觀察角度，即從哪個角度去分析問題，看待問題。
指標就是從維度的基礎上去衡算這個結果的值。
維度一般是一個離散的值，比如時間維度上每一個獨立的日期或地域，因此統計時，可以把維度相同記錄的聚合在一起，應用聚合函數做累加、均值、最大值、最小值等聚合計算。
指標就是被聚合的通計算，即聚合運算的結果，一般是一個連續的值。
4. 自然鍵與代理鍵在數倉的使用區別
數倉工具箱中說維度表的唯一主鍵應該是代理鍵而不應該是自然鍵。有時建模人員不愿意放棄使用自然鍵，因為他們希望與操作型代碼查詢事實表，而不希望與維度表做連接操作。然而，應該避免使用包含業務含義的多維鍵，因為不管我們做出任何假設最終都可能變得無效，因為我們控制不了業務庫的變動。
所以數據倉庫中維度表與事實表的每個連接應該基于無實際含義的整數代理鍵。避免使用自然鍵作為維度表的主鍵。
5. 數據集市與數據倉庫的區別與聯系
數據集市就是企業級數據倉庫的一個子集，它主要面向部門級業務，并且只面向某個特定的主題。為了解決靈活性與性能之間的矛盾，數據集市就是數據倉庫體系結構中增加的一種小型的部門或工作組級別的數據倉庫。數據集市存儲為特定用戶預先計算好的數據，從而滿足用戶對性能的需求。數據集市可以在一定程度上緩解訪問數據倉庫的瓶頸。
