精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

老板又讓我負責數倉 DWS 層建設了...

大數據 數據倉庫
DWS(Data Warehouse Service)層是數據倉庫的服務數據層,位于DWD層之上,ADS層之下。它主要承擔了將明細數據進行主題聚合的職責,是數據倉庫中承上啟下的關鍵環節。

又來活了,今天開始DWS層的建設。DWS(Data Warehouse Service)層是數據倉庫中的服務數據層,它基于DWD層的明細數據,按照業務主題對數據進行輕度匯總,形成主題寬表,主要包含了1d(最近1日)、nd(最近n日)、td(歷史至今)等時間維度的指標,是數據倉庫中承上啟下的關鍵環節,既保證了數據的可復用性,又為上層應用提供了標準化的數據服務。

今天以我們項目中的實際案例為例進行DWS層建設思路介紹。數倉代碼可訪問:

  • github:https://github.com/Mrkuhuo/data-warehouse-learning
  • gitee:https://gitee.com/wzylzjtn/data-warehouse-learning

一、DWS層定位與價值

1. DWS角色定位

DWS(Data Warehouse Service)層是數據倉庫的服務數據層,位于DWD層之上,ADS層之下。它主要承擔了將明細數據進行主題聚合的職責,是數據倉庫中承上啟下的關鍵環節。

2. 業務價值

業務價值:

  • 降低計算成本:預計算常用指標,避免重復計算
  • 統一指標口徑:確保全公司指標計算規則統一
  • 提升分析效率:提供主題化的寬表,方便業務分析
  • 支持多維分析:保留完整維度,支持靈活查詢

二、DWS層設計思路

1. 主題劃分

主題是DWS層最重要的設計要素,需要從以下幾個方面考慮:

(1) 業務維度劃分:

  • 交易域:訂單、支付、退款等
  • 用戶域:注冊、登錄、畫像等
  • 流量域:訪問、瀏覽、跳轉等
  • 商品域:商品、類目、品牌等

(2) 分析維度考慮

  • 時間維度:日、周、月、年
  • 地理維度:省份、城市、區域
  • 用戶維度:設備、渠道、等級
  • 業務維度:品類、品牌、店鋪

2. 粒度設計

(1) 基礎粒度

  • 用戶粒度:用戶行為分析
  • 商品粒度:商品銷售分析
  • 店鋪粒度:店鋪運營分析
  • 訂單粒度:交易過程分析

(2) 時間粒度

  • 1d:最近1日匯總,日常監控
  • nd:最近n日匯總,趨勢分析
  • td:歷史至今匯總,累計分析

3. 指標體系

(1) 指標類型

  • 統計指標:數量、金額等
  • 比率指標:占比、轉化率等
  • 環比指標:增長率、變化率等
  • 復合指標:加權分數、綜合評分等

(2) 計算方式

  • 累計值:SUM、COUNT等
  • 去重值:COUNT DISTINCT等
  • 最新值:MAX、LAST_VALUE等
  • 平均值:AVG、MEDIAN等

三、實戰案例:交易行為分析

1. 業務場景

分析用戶購物行為,包括:

  • 商品購買情況
  • 用戶消費習慣
  • 品類偏好分析
  • 支付方式分析

2. 表設計方案

-- 用戶商品交易行為匯總表(最近N日)
CREATE TABLE dws.dws_trade_user_sku_order_nd (
    user_id         STRING COMMENT '用戶ID',
    sku_id          STRING COMMENT '商品ID',
    k1              DATE COMMENT '數據日期',


    -- 商品維度冗余
    sku_name        STRING COMMENT '商品名稱',
    category1_id    STRING COMMENT '一級品類ID',
    category1_name  STRING COMMENT '一級品類名稱',
    tm_id           STRING COMMENT '品牌ID',
    tm_name         STRING COMMENT '品牌名稱',


    -- 7日匯總指標
    order_count_7d  BIGINT COMMENT '7日下單次數',
    order_num_7d    BIGINT COMMENT '7日購買件數',
    order_amount_7d DECIMAL(16,2) COMMENT '7日下單金額',


    -- 30日匯總指標
    order_count_30d BIGINT COMMENT '30日下單次數',
    order_num_30d   BIGINT COMMENT '30日購買件數',
    order_amount_30d DECIMAL(16,2) COMMENT '30日下單金額'
) COMMENT '交易域用戶商品粒度訂單最近N日匯總表'
PARTITION BY k1;

3. 實現方案

(1) 維度關聯

-- 1. 關聯商品維度信息
SELECT 
    od.user_id, od.sku_id, od.k1,


    -- 2. 冗余維度屬性
    COALESCE(sku.sku_name, '未知商品') as sku_name,
    COALESCE(sku.category1_id, '-1') as category1_id,
    COALESCE(sku.category1_name, '未知品類') as category1_name,
    COALESCE(sku.tm_id, '-1') as tm_id,
    COALESCE(sku.tm_name, '未知品牌') as tm_name,


    -- 3. 統計指標
    od.order_count_1d,
    od.order_num_1d,
    od.order_amount_1d
FROM order_detail od
LEFT JOIN dim.dim_sku_full sku
    ON od.sku_id = sku.id
    AND sku.k1 = (
        SELECT MAX(k1) 
        FROM dim.dim_sku_full 
        WHERE k1 <= DATE('${pdate}')
    );

(2) 指標計算

-- 1. 計算匯總指標
SELECT
    user_id, sku_id, k1,
    sku_name, category1_id, category1_name,
    tm_id, tm_name,


    -- 2. 計算7日累計
    SUM(IF(k1 >= DATE_ADD(DATE('${pdate}'), -6),
           order_count_1d, 0)) AS order_count_7d,
    SUM(IF(k1 >= DATE_ADD(DATE('${pdate}'), -6),
           order_num_1d, 0)) AS order_num_7d,
    SUM(IF(k1 >= DATE_ADD(DATE('${pdate}'), -6),
           order_amount_1d, 0)) AS order_amount_7d,


    -- 3. 計算30日累計
    SUM(order_count_1d) AS order_count_30d,
    SUM(order_num_1d) AS order_num_30d,
    SUM(order_amount_1d) AS order_amount_30d
FROM dws.dws_trade_user_sku_order_1d
WHERE k1 >= DATE_ADD(DATE('${pdate}'), -29)
GROUP BY 
    user_id, sku_id, k1,
    sku_name, category1_id, category1_name,
    tm_id, tm_name;

通過以上案例分析,我們可以看到DWS層在實際業務中的應用方式和實現細節。這些設計方案和實現方法可以作為參考,在實際項目中根據具體需求進行調整和優化。

責任編輯:趙寧寧 來源: 大數據技能圈
相關推薦

2025-04-08 11:30:00

DIM數據倉庫架構

2022-08-22 17:46:56

虛擬數倉Impala

2022-12-08 10:16:58

數據模型

2018-12-20 09:52:05

JVM內存分配

2022-08-16 14:17:50

數據倉庫數據治理數據職場

2025-04-14 08:15:00

2021-06-11 07:26:16

數據倉庫機器學習

2022-08-19 09:12:19

數據庫開發

2024-11-21 16:46:12

2025-09-08 09:39:25

2023-06-28 16:10:09

Dataleap數倉建設

2021-09-09 18:12:22

內存分段式網絡

2020-03-03 07:59:29

設計秒殺系統

2010-08-06 17:09:14

加薪

2021-01-31 23:54:23

數倉模型

2019-09-18 09:41:25

億級流量網站

2010-07-07 16:21:40

重用

2011-04-27 10:07:40

灌裝墨盒用戶體驗
點贊
收藏

51CTO技術棧公眾號

国产精品亚洲网站| 亚洲视频精品在线| 免费毛片小视频| 黄色小视频在线观看| 日本美女视频一区二区| 欧美精品一区二区三区国产精品| 中文字幕1区2区| 婷婷六月国产精品久久不卡| 亚洲天堂精品在线观看| 精品国产免费久久久久久尖叫| 三级网站在线播放| 欧美 日韩 国产一区二区在线视频| 亚洲成人动漫在线播放| 第四色婷婷基地| 日本孕妇大胆孕交无码| 久久精品欧美日韩精品| 97在线中文字幕| 无码人妻黑人中文字幕| 国产精品扒开腿做爽爽爽软件| 亚洲欧美国产日韩天堂区| 手机免费av片| 日韩在线免费| 亚洲成在人线在线播放| 亚洲精品在线观看免费| 亚洲AV成人无码一二三区在线| 久久www免费人成看片高清| 97精品国产aⅴ7777| fc2ppv在线播放| 亚洲日本三级| 精品99一区二区三区| 九九热免费精品视频| 丁香高清在线观看完整电影视频| 国产精品私人影院| 欧美日韩一区二区三区在线视频 | 91aaaa| 国产一区二区视频免费| 在线播放精品| 久久99久久久久久久噜噜| 99久久99久久精品免费| 少妇精品久久久一区二区三区| 欧美电影免费提供在线观看| www.cao超碰| 免费一区二区三区四区| 色一区在线观看| 久草热视频在线观看| 国产后进白嫩翘臀在线观看视频| 亚洲精品videosex极品| 最新不卡av| 色三级在线观看| 国产欧美日韩激情| 日韩电影在线播放| 欧美成人免费| 久久亚洲精华国产精华液| 国产视频99| 日本波多野结衣在线| 国产999精品久久| 国产精品v欧美精品∨日韩| 国产黄色高清视频| 国产成人精品三级| 99久久一区三区四区免费| 国产同性人妖ts口直男| 国产一区不卡视频| 亚洲一区久久久| 精品国产999久久久免费| 国产伦精品一区二区三区在线观看 | 国产在线观看a视频| 1024成人网| 日本免费黄色小视频| 天堂av在线电影| 一区二区三区在线视频播放| 污污污污污污www网站免费| 日本伦理一区二区| 午夜视频一区二区三区| 欧美日韩在线视频一区二区三区| 全亚洲第一av番号网站| 欧美日韩中文国产| 超碰在线超碰在线| 成人精品毛片| 亚洲久久久久久久久久| 天天摸日日摸狠狠添| 久久人人99| 久久国产精品视频| 97免费在线观看视频| 媚黑女一区二区| 国产精品视频不卡| 国产ts变态重口人妖hd| a美女胸又www黄视频久久| 欧美日韩国产一二| 麻豆传媒在线免费| 亚洲大片一区二区三区| 日韩精品一区二区三区不卡| 欧美视频免费看| 日韩一级免费观看| 久久偷拍免费视频| 欧美gayvideo| 久久久久久中文| 波多野结衣午夜| 国产成人a级片| 清纯唯美一区二区三区| 国产精品久久麻豆| 日韩欧美中文字幕在线播放| 老司机午夜性大片| 网曝91综合精品门事件在线| 日韩亚洲精品电影| 国产手机在线视频| 久草在线在线精品观看| 国模一区二区三区私拍视频| 91精彩视频在线播放| 亚洲高清免费观看| www.com操| 日韩中出av| 久久五月天色综合| 好吊色在线视频| 粉嫩aⅴ一区二区三区四区五区| 日韩精品久久久免费观看| 日本不卡影院| 欧美日韩一区二区三区免费看| 亚洲美女精品视频| 99久久国产综合精品成人影院| 国产91对白在线播放| 精品人妻伦一区二区三区久久 | 国产日产精品一区二区三区的介绍| 亚洲性视频h| 91精品美女在线| 毛片在线播放网址| 亚洲午夜电影网| 久久精品亚洲天堂| 成人av动漫在线观看| 欧美亚洲国产精品| 欧性猛交ⅹxxx乱大交| 亚洲色图欧洲色图| av无码精品一区二区三区| 成人动态视频| 欧美黄色www| www.av导航| 亚洲欧美日韩一区二区| 日本 片 成人 在线| 久草成人在线| 国产91精品青草社区| 欧美一区二区三区激情| 亚洲精品ww久久久久久p站| 伊人国产精品视频| 国产精品精品国产一区二区| 国产精品看片资源| 国产1区2区3区在线| 色婷婷综合久久| 欧美图片第一页| 久久久蜜桃一区二区人| 女同一区二区| 亚洲欧美韩国| 亚洲毛片一区二区| 亚洲毛片一区二区三区| 国产亚洲欧美日韩在线一区| 欧美精品一区免费| 天堂俺去俺来也www久久婷婷| 97婷婷大伊香蕉精品视频| 欧美自拍偷拍一区二区| 天天色 色综合| 波多野结衣办公室33分钟| 午夜亚洲福利在线老司机| 久久大片网站| 欧美大片高清| 在线观看视频99| 一区二区三区亚洲视频| 亚洲欧美成aⅴ人在线观看 | 91亚洲精品久久久蜜桃| 日日碰狠狠添天天爽超碰97| 日韩三级毛片| 日产日韩在线亚洲欧美 | 久热国产精品视频| 亚洲成人一级片| 疯狂蹂躏欧美一区二区精品| 亚洲av无码一区二区三区人 | 日本在线精品视频| 日本视频在线| 精品黑人一区二区三区久久| www.日本精品| 国产精品三级在线观看| 久久久久无码精品| 国产精品美女久久久浪潮软件| 日本黑人久久| 精品91福利视频| 91国内精品久久| 国产大学生校花援交在线播放| 91精品国产入口| 久久99精品波多结衣一区| 欧美激情综合在线| 男人女人拔萝卜视频| 国产精品亚洲欧美| 一区二区三区不卡在线| www.爱久久| 国产成人精品久久亚洲高清不卡| 黄在线免费观看| 日韩精品在线观看一区| 在线观看黄色网| 精品福利一区二区| 小早川怜子一区二区的演员表| 成人av第一页| 女同激情久久av久久| 国产精品一国产精品k频道56| 亚洲一区在线免费| 久久久久观看| 91麻豆桃色免费看| 97成人资源| 欧美国产日韩视频| av男人的天堂在线| 亚洲国产精品一区二区久| 亚洲一区二区天堂| 欧美日韩在线影院| 欧美黄色一区二区三区| 亚洲国产成人一区二区三区| 69亚洲乱人伦| 久国产精品韩国三级视频| 92看片淫黄大片一级| 欧美久久视频| 一区精品在线| 欧美美乳视频| 狠狠色伊人亚洲综合网站色| 国产精品视频一区视频二区| 国产精品aaaa| 乡村艳史在线观看| 国产综合在线看| 2024最新电影免费在线观看| 中文字幕亚洲一区二区三区五十路| 神马午夜电影一区二区三区在线观看| 91精品欧美综合在线观看最新 | 欧美凹凸一区二区三区视频| 久久综合偷偷噜噜噜色| 国产精品激情av在线播放| 成人观看网址| 欧美成在线视频| 午夜视频成人| 亚洲性视频网站| 四虎精品在线| 亚洲精品白浆高清久久久久久| 国产999久久久| 8x福利精品第一导航| 在线观看国产区| 色天使久久综合网天天| 久草国产精品视频| 午夜精品一区二区三区电影天堂 | 性高潮久久久久久| 精品在线视频一区| www.日本一区| 日本美女一区二区三区视频| 成年人观看网站| 99精品国产在热久久下载| 无码人妻精品一区二区三区99v| 清纯唯美综合亚洲| 五月婷婷综合色| 日韩欧美国产大片| 欧美成人dvd在线视频| 欧美男gay| 日本一区二区在线视频| 久久av资源| 日本不卡一区二区三区视频| 久久av免费| 亚洲国产一区二区精品视频| 成人精品中文字幕| 亚洲精品一区二区三区樱花| 日韩精品第一区| 亚洲高清视频在线观看| 99tv成人| 91九色国产ts另类人妖| 99热国内精品永久免费观看| 欧美大片免费播放| 国产精品多人| 精品少妇人欧美激情在线观看| 在线看片欧美| 黄色片一级视频| 麻豆精品视频在线观看视频| 在线观看日本www| 成人丝袜视频网| 国产精品九九九九九| 国产欧美精品一区aⅴ影院 | 欧美18xxxxx| 一区二区三区视频免费| 九义人在线观看完整免费版电视剧| 久久精品免费播放| 国产精品69xx| 国产精品极品尤物在线观看| 亚洲精品大全| 91中文字精品一区二区| 欧洲大片精品免费永久看nba| 国产日韩一区欧美| av中字幕久久| 超碰97在线看| 免费久久99精品国产自在现线| 久久综合伊人77777麻豆最新章节| 韩国女主播成人在线| 国产精品扒开腿做爽爽爽a片唱戏| 久久久综合视频| 91香蕉一区二区三区在线观看| 亚洲国产精品久久久久婷婷884| 国产成人一级片| 91麻豆精品国产91久久久久| 五月婷婷丁香网| 日韩亚洲精品电影| 欧洲一区精品| 亚洲永久免费观看| 国产精品一在线观看| 97超碰在线视| 丝袜诱惑亚洲看片| 日本在线视频播放| 2020国产精品久久精品美国| 一级免费黄色录像| 精品久久久久久亚洲精品| 在线观看不卡的av| 亚洲精品国产精品国产自| 最新真实国产在线视频| 国内精品久久久久| 激情久久99| 欧美二区在线看| 一区视频在线| 男女污污视频网站| 中文字幕va一区二区三区| 日本中文字幕免费观看| 欧美日韩一区中文字幕| 性xxxfllreexxx少妇| 欧美日产国产成人免费图片| h1515四虎成人| 久久精品日产第一区二区三区乱码 | 国产亚洲一级高清| www欧美xxxx| 亚洲综合中文字幕在线观看| 日韩av久操| av免费在线播放网站| 国产精品18久久久久久久网站| 国产视频不卡在线| 色综合中文字幕国产| 天天操天天操天天干| 欧美大尺度激情区在线播放 | 欧美日韩一卡二卡三卡 | 91日韩在线专区| 国产亚洲精品av| 欧美一区二区三区四区五区| 亚洲xxxxxx| 国产精品永久免费在线| 精品久久不卡| 不要播放器的av网站| 久久综合色8888| 欧美三级一区二区三区| 亚洲加勒比久久88色综合| 成人影音在线| 国产精品久久精品国产| 黄色欧美日韩| 国产乱国产乱老熟300部视频| 一区二区三区四区不卡在线| www精品国产| 欧美高清第一页| 欧美午夜网站| 免费特级黄色片| 成人午夜av在线| 日韩成人免费在线观看| 日韩av在线天堂网| 手机在线观看av| 欧美日韩另类丝袜其他| 日本欧洲一区二区| 岛国片在线免费观看| 欧美挠脚心视频网站| 人人干在线视频| 91蜜桃网站免费观看| 欧美精品首页| www.男人天堂| 91福利在线免费观看| 思思99re6国产在线播放| 91免费看片在线| 欧美日韩中文| 国产偷人妻精品一区| 日本大香伊一区二区三区| 99免在线观看免费视频高清| 91在线精品播放| 尤物精品在线| 色欲狠狠躁天天躁无码中文字幕| 欧美日本一道本| 天堂8中文在线| 开心色怡人综合网站| 欧美a一区二区| 国产97免费视频| 亚洲精品国产精品乱码不99按摩| 精品91久久| 中文字幕欧美日韩一区二区三区 | 亚洲免费精品| 纪美影视在线观看电视版使用方法| 欧美精品xxxxbbbb| 第一福利在线视频| 亚洲a∨一区二区三区| 国产成人aaa| 蜜臀尤物一区二区三区直播| 久久久国产精品亚洲一区| 免费萌白酱国产一区二区三区| 最近免费中文字幕中文高清百度| 中文字幕av不卡| 亚洲精品成人电影| 国产精品久久久久av| 女人香蕉久久**毛片精品| 国产精品jizz| 日韩一区二区三区精品视频| 国产日韩电影| 黄色成人在线免费观看|