51CTO首頁(yè)

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

數(shù)據(jù)倉(cāng)庫(kù)

313內(nèi)容??

關(guān)注

涵蓋數(shù)據(jù)倉(cāng)庫(kù)相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，幫助用戶更好的學(xué)習(xí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，最終支撐企業(yè)分析決策。

文章

共 313 條

2022年數(shù)據(jù)倉(cāng)庫(kù)安全優(yōu)秀實(shí)踐

在本文中，我們將探討可以幫助企業(yè)組織保持信息和軟件安全的數(shù)據(jù)倉(cāng)庫(kù)安全最佳實(shí)踐。

2022-03-25 11:46:21

數(shù)據(jù)倉(cāng)庫(kù)軟件安全保護(hù)數(shù)據(jù)

數(shù)據(jù)研發(fā)該如何做好業(yè)務(wù)方管理

本文主要介紹了作為數(shù)據(jù)研發(fā)該如何破局被動(dòng)接需求的尷尬境地，核心的點(diǎn)在于要改變看問(wèn)題的立場(chǎng)，多站在解決問(wèn)題的角度去思考背后的邏輯。

2022-03-14 08:40:48

數(shù)據(jù)MRD PRD

你真的了解ELT和ETL嗎？

ELT和ETL都有各自的應(yīng)用場(chǎng)景，可以說(shuō)現(xiàn)在大數(shù)據(jù)環(huán)境下，很多已經(jīng)是ELT架構(gòu)了，所以這也是我近幾年一直不看好很多廠商在推“拖拉拽”的ETL工具或者平臺(tái)，未來(lái)肯定是需要一種通用語(yǔ)言來(lái)實(shí)現(xiàn)所有的ELT過(guò)程。

2022-03-14 07:53:27

ELT ETL 大數(shù)據(jù)

聊聊HBase海量數(shù)據(jù)高效入倉(cāng)解決方案

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源于各方業(yè)務(wù)系統(tǒng)，高效準(zhǔn)確的將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步到數(shù)倉(cāng)，是數(shù)倉(cāng)建設(shè)的根本。通過(guò)該解決方案，主要解決了數(shù)據(jù)同步過(guò)程中的幾大痛點(diǎn)問(wèn)題，能夠較好的保證數(shù)據(jù)入倉(cāng)的質(zhì)量問(wèn)題，為后續(xù)的數(shù)倉(cāng)建設(shè)打下一個(gè)較好的基礎(chǔ)。

2022-03-09 21:55:30

HBase 數(shù)據(jù)入倉(cāng)

聊聊數(shù)倉(cāng)建模之 ID Mapping

ID Mapping 就如同它的名字一樣，我們要做的就是將一系列的ID 關(guān)聯(lián)起來(lái)，盡可能地將用戶的數(shù)據(jù)打通，從而提供更加全面準(zhǔn)確的分析。

2022-03-01 17:16:16

數(shù)倉(cāng)建模 ID Mapping

從盤古開(kāi)天辟地說(shuō)起為什么 Flink CP 能實(shí)現(xiàn)精確一次之二

本文主要講了一個(gè)分布式應(yīng)用異步做一個(gè)全局一致性快照的機(jī)制。

2022-02-20 10:47:54

Flink CP 通用算法實(shí)時(shí)數(shù)倉(cāng)

從盤古開(kāi)天辟地說(shuō)起為什么 Flink CP 能實(shí)現(xiàn)精確一次？

對(duì)于很多做離線或者實(shí)時(shí)數(shù)倉(cāng)的小伙伴來(lái)說(shuō)，我先問(wèn)幾個(gè)問(wèn)題，看看小伙伴萌能回答上來(lái)嗎？

2022-02-19 09:09:37

數(shù)倉(cāng)Flink CP 分布式

數(shù)據(jù)倉(cāng)庫(kù)之?dāng)?shù)倉(cāng)治理

數(shù)據(jù)治理（Data Governance），是一套持續(xù)改善管理機(jī)制，通常包括了數(shù)據(jù)架構(gòu)組織、數(shù)據(jù)模型、政策及體系制定、技術(shù)工具、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、影響度分析、作業(yè)流程、監(jiān)督及考核流程等內(nèi)容。

2022-02-18 09:02:04

數(shù)據(jù)倉(cāng)庫(kù)治理

什么是 Azure Synapse，它與 Azure Data Bricks 有何不同？

zure Synapse Analytics 是一項(xiàng)針對(duì)大型公司的無(wú)限信息分析服務(wù)，它被呈現(xiàn)為 Azure SQL 數(shù)據(jù)倉(cāng)庫(kù) (SQL DW) 的演變，將業(yè)務(wù)數(shù)據(jù)存儲(chǔ)和宏或大數(shù)據(jù)分析結(jié)合在一起。

2022-02-17 22:28:39

數(shù)據(jù)倉(cāng)庫(kù)SQL 大數(shù)據(jù)

一篇帶你了解OLTP vs. OLAP

OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。

2022-02-17 08:35:59

OLTP OLAP 數(shù)據(jù)倉(cāng)庫(kù)

Github 推出“贊助商專用”倉(cāng)庫(kù)，根據(jù)贊助金額解鎖新功能

隨著企業(yè)回饋開(kāi)源作者的呼聲，Github推出了新的“贊助商倉(cāng)庫(kù)”：這種倉(cāng)庫(kù)只有贊助商能訪問(wèn)，開(kāi)發(fā)者可以根據(jù)贊助的金額設(shè)置贊助等級(jí)(最多十個(gè))，每個(gè)等級(jí)的贊助商享受的功能不一樣(類似于游戲的 vip1-vip10?)。

2022-02-09 15:20:39

Github 贊助商倉(cāng)庫(kù)開(kāi)發(fā)者

使用數(shù)據(jù)倉(cāng)庫(kù)BI的六種策略

用于流分析、數(shù)據(jù)準(zhǔn)備和主數(shù)據(jù)管理的新工具可以幫助企業(yè)采用更好的數(shù)據(jù)倉(cāng)庫(kù)策略。這里有六種策略，可以幫助企業(yè)充分使用新的云數(shù)據(jù)倉(cāng)庫(kù)。

2021-12-10 13:08:31

數(shù)據(jù)倉(cāng)庫(kù)BI 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)倉(cāng)庫(kù)詳細(xì)介紹之?dāng)?shù)據(jù)質(zhì)量理論與經(jīng)驗(yàn)

數(shù)據(jù)質(zhì)量管理是對(duì)數(shù)據(jù)從計(jì)劃、收集、記錄、存儲(chǔ)、回收、分析和展示生命周期的每個(gè)階段里可能引發(fā)的數(shù)據(jù)質(zhì)量問(wèn)題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過(guò)改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。

2021-11-30 08:11:19

數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)

數(shù)據(jù)倉(cāng)庫(kù)詳細(xì)介紹之調(diào)度

我們通過(guò)配置調(diào)度去周期性定時(shí)觸發(fā)執(zhí)行各種任務(wù)或流程(同步、集成、計(jì)算、校驗(yàn)、測(cè)試等)并監(jiān)控他們的運(yùn)行情況，及時(shí)、保質(zhì)、自動(dòng)化的滿足各種數(shù)據(jù)使用需求。

2021-10-27 11:33:31

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

手把手教你數(shù)據(jù)倉(cāng)庫(kù)建設(shè)

經(jīng)過(guò)前面一系列的ETL過(guò)程（什么是ETL？一文掌握ETL設(shè)計(jì)過(guò)程），我們最終將數(shù)據(jù)裝載到數(shù)據(jù)倉(cāng)庫(kù)中。

2021-09-30 18:27:38

數(shù)據(jù)倉(cāng)庫(kù)ETL

阿里云發(fā)布首個(gè)一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案實(shí)現(xiàn)庫(kù)倉(cāng)一體數(shù)據(jù)分析能力

峰會(huì)上，阿里云重磅發(fā)布首個(gè)一站式敏捷數(shù)據(jù)倉(cāng)庫(kù)解決方案。該方案結(jié)合一站式數(shù)據(jù)管理平臺(tái)DMS及云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB（簡(jiǎn)稱：ADB），真正實(shí)現(xiàn)了庫(kù)倉(cāng)一體的技術(shù)架構(gòu)，提供在線數(shù)據(jù)實(shí)時(shí)入倉(cāng)、T+1周期性快照、按需建倉(cāng)等能力，數(shù)據(jù)延時(shí)低至秒級(jí)，持續(xù)賦能業(yè)務(wù)在線化，令企業(yè)在線數(shù)據(jù)釋放最大價(jià)值。

2021-09-26 22:49:36

阿里云數(shù)據(jù)倉(cāng)庫(kù)庫(kù)倉(cāng)一體

新一代云原生數(shù)據(jù)倉(cāng)庫(kù) AnalyticDB「SQL 智能診斷」功能詳解

AnalyticDB For MySQL（新一代云原生實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，語(yǔ)法兼容MySQL，以下簡(jiǎn)稱ADB）為用戶提供了高效、實(shí)時(shí)、功能豐富并且智能化的「SQL智能診斷」和「SQL智能調(diào)優(yōu)」功能，提供用戶SQL性能調(diào)優(yōu)的思路、方向和具體的方法，降低用戶使用成本，提高用戶使用ADB的效率。

2021-09-07 11:07:35

AnalyticDB SQL 云原生

關(guān)于數(shù)據(jù)倉(cāng)庫(kù)以及云數(shù)據(jù)倉(cāng)庫(kù)的那些事兒！

幾乎所有投資者都看好數(shù)據(jù)庫(kù)上云趨勢(shì)，就在云數(shù)據(jù)庫(kù)、云原生數(shù)據(jù)庫(kù)呼聲高漲的同時(shí)，云數(shù)倉(cāng)成為一個(gè)新的賽道，開(kāi)始走入大眾眼簾。

2021-09-01 10:03:44

數(shù)據(jù)倉(cāng)庫(kù)云數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)

外部工具連接 SaaS 模式云數(shù)據(jù)倉(cāng)庫(kù) MaxCompute 實(shí)戰(zhàn)

MaxCompute 產(chǎn)品能支持的外部工具，大概可以分為商業(yè)智能、開(kāi)發(fā)管理、傳輸調(diào)度、編程接口。本次分享主要關(guān)注商業(yè)智能（BI）工具這一板塊，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick BI。

2021-07-29 11:30:41

SaaS 云數(shù)據(jù)倉(cāng)庫(kù)MaxCompute

數(shù)據(jù)規(guī)模爆炸性增長(zhǎng)，云原生數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)化運(yùn)營(yíng)實(shí)戰(zhàn)分享

在日前的2021阿里云金融數(shù)據(jù)智能峰會(huì)——《云原生驅(qū)動(dòng)數(shù)智化運(yùn)營(yíng)的“增長(zhǎng)黑馬”》專場(chǎng)上，阿里云數(shù)據(jù)庫(kù)資深技術(shù)專家魏闖先從數(shù)據(jù)價(jià)值鏈路角度切入，為大家解讀云原生數(shù)據(jù)倉(cāng)庫(kù)如何支撐數(shù)據(jù)化運(yùn)營(yíng)、全鏈路營(yíng)銷和阿里集團(tuán)雙11業(yè)務(wù)，并展示金融客戶最佳實(shí)踐案例和應(yīng)用場(chǎng)景。本文內(nèi)容根據(jù)演講錄音及PPT整理而成。

2021-07-22 10:04:13

云原生數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)化運(yùn)營(yíng)

對(duì)比四大典型的云數(shù)據(jù)倉(cāng)庫(kù)：Snowflake、Redshift、BigQuery和Azure 譯文

本文從特征參數(shù)、技術(shù)規(guī)格、以及定價(jià)模型等方面，為您綜合比較了Snowflake、Redshift、BigQuery、以及Azure，這四種典型的云數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)缺點(diǎn)，并給出了選型時(shí)的各項(xiàng)參考因素。

2021-07-19 09:00:00

數(shù)據(jù)庫(kù)數(shù)據(jù)分析技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)有坑怎么辦，如何從0到1來(lái)填坑

這種數(shù)據(jù)倉(cāng)庫(kù)體系，最典型的特征，是找數(shù)據(jù)只能給表，無(wú)法通過(guò)規(guī)范自主查找;看邏輯只能問(wèn)人，無(wú)法通過(guò)模型設(shè)計(jì)快速了解;問(wèn)業(yè)務(wù)只能靠求，別人管不過(guò)來(lái)自己的事情了，哪有時(shí)間來(lái)管你?

2021-07-05 22:32:33

數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)

數(shù)倉(cāng) | 該如何理解數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)

在大數(shù)據(jù)時(shí)代，隨著機(jī)器學(xué)習(xí)和人工智能的興起，這個(gè)定義需要做一些補(bǔ)充：數(shù)據(jù)倉(cāng)庫(kù)不只是用于構(gòu)建支持管理決策的商業(yè)智能BI的基礎(chǔ), 也是大量的機(jī)器學(xué)習(xí)和人工智能算法的底層基礎(chǔ)之一。

2021-06-11 07:26:16

數(shù)據(jù)倉(cāng)庫(kù)機(jī)器學(xué)習(xí)

如何基于MaxCompute快速打通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的湖倉(cāng)一體實(shí)踐

縱觀整個(gè)計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域，對(duì)于數(shù)據(jù)處理的技術(shù)主要分為四個(gè)階段，數(shù)據(jù)庫(kù)階段、大數(shù)據(jù)技術(shù)探索階段、大數(shù)據(jù)技術(shù)發(fā)展階段、大數(shù)據(jù)普惠階段。

2021-06-07 10:45:16

大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖

云數(shù)據(jù)倉(cāng)庫(kù)的未來(lái)趨勢(shì)：計(jì)算存儲(chǔ)分離

隨著云時(shí)代的到來(lái)，數(shù)據(jù)庫(kù)也開(kāi)始擁抱云數(shù)據(jù)庫(kù)時(shí)代，各類數(shù)據(jù)庫(kù)系統(tǒng)（OLTP、OLAP、NoSQL等）在各內(nèi)外云平臺(tái)（AWS、Azure、阿里云）百花齊放，有些數(shù)據(jù)庫(kù)還處于Cloud Hosting階段，僅僅是將原有架構(gòu)遷移到云主機(jī)上，利用了云的資源。有些數(shù)據(jù)庫(kù)則已經(jīng)進(jìn)入了Cloud Native階段，基于云平臺(tái)IAAS層的基礎(chǔ)設(shè)施，構(gòu)建彈性、serverless、數(shù)據(jù)共享等能力。

2021-06-03 14:34:15

云數(shù)據(jù)倉(cāng)庫(kù)計(jì)算存儲(chǔ)分離

女朋友問(wèn)小灰：什么是數(shù)據(jù)倉(cāng)庫(kù)？什么是數(shù)據(jù)湖？什么是智能湖倉(cāng)？

作為程序員，我們寫(xiě)的大多數(shù)商業(yè)項(xiàng)目，往往都需要用到大量的數(shù)據(jù)。計(jì)算機(jī)的內(nèi)存，可以實(shí)現(xiàn)數(shù)據(jù)的快速存儲(chǔ)和訪問(wèn)。

2021-05-28 09:23:07

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖

云數(shù)據(jù)倉(cāng)庫(kù)的未來(lái)趨勢(shì)：計(jì)算存儲(chǔ)分離

2021-05-27 09:22:41

云計(jì)算數(shù)據(jù)科技

支持機(jī)器學(xué)習(xí)的8個(gè)數(shù)據(jù)倉(cāng)庫(kù) 譯文

對(duì)于規(guī)模非常大的數(shù)據(jù)集來(lái)說(shuō)，理想的情況是在數(shù)據(jù)已經(jīng)存在的地方建立模型，這樣就不需要導(dǎo)出大量的數(shù)據(jù)。有一些數(shù)據(jù)倉(cāng)庫(kù)在一定程度上支持這一點(diǎn)。而隨之而來(lái)的問(wèn)題是：哪些數(shù)據(jù)倉(cāng)庫(kù)支持機(jī)器學(xué)習(xí)？它們是如何做到的？以下按字母排序?qū)@些數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行分析和闡述。

2021-05-14 09:00:00

機(jī)器學(xué)習(xí)數(shù)據(jù)集工具

數(shù)據(jù)倉(cāng)庫(kù)和Olap傻傻分不清

數(shù)倉(cāng)一般是多維模型模型，數(shù)據(jù)分層，ETL處理。它的數(shù)據(jù)源來(lái)源很多，格式也很多，比如結(jié)構(gòu)化的數(shù)據(jù)，非結(jié)構(gòu)化的數(shù)據(jù)。

2021-05-09 21:57:08

數(shù)據(jù)倉(cāng)庫(kù)Olap

數(shù)據(jù)倉(cāng)庫(kù)環(huán)境現(xiàn)代化工具和技巧

數(shù)據(jù)倉(cāng)庫(kù)歷史悠久，這里的基本想法是，大多數(shù)企業(yè)建立各種應(yīng)用程序來(lái)自動(dòng)化其基本業(yè)務(wù)流程，而這些業(yè)務(wù)流程各自發(fā)展，從而產(chǎn)生多個(gè)版本的數(shù)據(jù)。

2021-04-18 18:43:25

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)庫(kù)

簡(jiǎn)述數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)集市，數(shù)據(jù)湖泊、和運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)

互聯(lián)網(wǎng)和大規(guī)模技術(shù)開(kāi)發(fā)使得當(dāng)今世界中數(shù)據(jù)的爆炸性增長(zhǎng)。企業(yè)決策者希望研究數(shù)據(jù)之間的關(guān)系，點(diǎn)擊數(shù)據(jù)的隱藏功能并分析和探索更深層次的數(shù)據(jù)。

2021-04-16 10:21:50

數(shù)據(jù)庫(kù)數(shù)據(jù)湖數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)和Hive環(huán)境搭建

數(shù)據(jù)倉(cāng)庫(kù)，英文名稱為Data Warehouse，可簡(jiǎn)寫(xiě)為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)顧名思義，是一個(gè)很大的數(shù)據(jù)存儲(chǔ)集合，出于企業(yè)的分析性報(bào)告和決策支持目的而創(chuàng)建，對(duì)多樣的業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選與整合。

2021-04-15 07:40:44

數(shù)據(jù)倉(cāng)庫(kù)Hive 環(huán)境搭建

關(guān)于數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)及組件方案選型

本文更想聊聊企業(yè)數(shù)據(jù)倉(cāng) 庫(kù) 項(xiàng)目上的架構(gòu)和組件工具問(wèn)題。

2021-03-31 10:16:00

架構(gòu)運(yùn)維技術(shù)

Teradata天睿公司被獨(dú)立研究機(jī)構(gòu)Forrester評(píng)為云數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)導(dǎo)者

該報(bào)告由Forrester副總裁兼首席分析師Noel Yuhanna于2021年3月24日撰寫(xiě)完成，基于26項(xiàng)標(biāo)準(zhǔn)對(duì)云數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)的13家廠商進(jìn)行評(píng)估和打分。

2021-03-25 17:27:12

Teradata

萬(wàn)字詳解整個(gè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)體系

英文名稱為Data Warehouse，可簡(jiǎn)寫(xiě)為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)的目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境，為企業(yè)提供決策支持(Decision Support)。它出于分析性報(bào)告和決策支持目的而創(chuàng)建。

2021-03-18 10:04:46

數(shù)據(jù)倉(cāng)庫(kù)體系

關(guān)于構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的幾個(gè)問(wèn)題

數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)是一個(gè)面向主題的(Subject Oriented)、集成的(Integrated)、相對(duì)穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合，用于支持管理決策(Decision Making Support)。

2021-03-03 21:24:57

數(shù)據(jù)倉(cāng)庫(kù)工具

云計(jì)算成為數(shù)據(jù)倉(cāng)庫(kù)的新重心

絕大多數(shù)組織計(jì)劃在2021年擴(kuò)大對(duì)云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的投資。然而，圍繞數(shù)據(jù)管理和ETL的許多問(wèn)題仍然存在。

2021-01-21 11:44:20

云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)云數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)工具方法-維度表同步 MySQL表結(jié)構(gòu)同步到Hive

mysql 中的數(shù)據(jù)類型與Hive 是有區(qū)別的，但是他們有規(guī)律，有規(guī)律就好辦了，我們可以通過(guò)寫(xiě)程序來(lái)批量處理，來(lái)提高我們的工作效率。

2021-01-06 10:36:55

MySQL 數(shù)據(jù)庫(kù)Hive

數(shù)據(jù)倉(cāng)庫(kù)分層架構(gòu)深度講解

本篇文章主要講解數(shù)倉(cāng)項(xiàng)目中為什么分層，比如我們?cè)谕瓿梢粋€(gè)需要的需求的時(shí)候也許只需要一個(gè)復(fù)雜的SQL語(yǔ)句就可以完成。

2021-01-04 05:51:02

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

新數(shù)據(jù)倉(cāng)庫(kù)模式設(shè)計(jì)有利于企業(yè)用戶

業(yè)務(wù)分析師的目標(biāo)之一是用數(shù)據(jù)講述完整的故事，提供有關(guān)業(yè)務(wù)如何進(jìn)行或如何改進(jìn)的見(jiàn)解。這是通過(guò)商業(yè)智能儀表板來(lái)實(shí)現(xiàn)，該儀表板從數(shù)據(jù)倉(cāng)庫(kù)提取數(shù)據(jù)。

2021-01-03 20:01:19

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)

數(shù)據(jù)湖 VS 數(shù)據(jù)倉(cāng)庫(kù)之爭(zhēng)？阿里提出大數(shù)據(jù)架構(gòu)新概念：湖倉(cāng)一體

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的區(qū)別到底是什么，是技術(shù)路線之爭(zhēng)？是數(shù)據(jù)管理方式之爭(zhēng)？二者是水火不容還是其實(shí)可以和諧共存，甚至互為補(bǔ)充？

2020-12-02 17:20:58

數(shù)據(jù)倉(cāng)庫(kù)阿里云數(shù)據(jù)湖

5000多張數(shù)據(jù)表，如何用SQL遷移到數(shù)據(jù)倉(cāng)庫(kù)？

需求背景最近公司打算集中梳理幾大業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，希望將各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)集中到數(shù)據(jù)倉(cāng)庫(kù)中。總共有5000多張數(shù)據(jù)表，但是好在業(yè)務(wù)數(shù)據(jù)量沒(méi)有像電商那么龐大，也就幾十個(gè)G。

2020-12-02 14:38:21

SQL 數(shù)據(jù)庫(kù)MySQL

有了數(shù)據(jù)湖，距離數(shù)據(jù)倉(cāng)庫(kù)消失還有幾年？

很多人跟我一樣，對(duì)于數(shù)據(jù)湖充滿好奇，也許還讀了不少數(shù)據(jù)湖文章，但無(wú)論別人怎么說(shuō)，你還是會(huì)覺(jué)得難以把握數(shù)據(jù)湖的本質(zhì)。

2020-10-20 18:59:40

數(shù)據(jù)湖數(shù)據(jù)倉(cāng)庫(kù)采集

關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型的思考

任何需求均來(lái)源于業(yè)務(wù) , 業(yè)務(wù)決定了需求 , 需求分析的正確與否是關(guān)系到項(xiàng)目成敗的關(guān)鍵所在 , 從任何角度都可以說(shuō)項(xiàng)目是由業(yè)務(wù)驅(qū)動(dòng)的所以數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目也是由業(yè)務(wù)所驅(qū)動(dòng)的。

2020-10-14 06:28:38

數(shù)據(jù)倉(cāng)庫(kù)模型

為什么你的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目推進(jìn)不下去？

不同的團(tuán)隊(duì)會(huì)面臨不同的難題，今天居士簡(jiǎn)單聊一下這幾年自己親身經(jīng)歷以及幫助一些小伙伴解惑后的一些感想。

2020-10-13 06:52:50

數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目

數(shù)據(jù)倉(cāng)庫(kù)Hive vs 準(zhǔn)實(shí)時(shí)分析系統(tǒng)Impala

Impala是用于處理存儲(chǔ)在Hadoop集群中的大量數(shù)據(jù)的MPP(大規(guī)模并行處理)SQL查詢引擎。它是一個(gè)用C++和Java編寫(xiě)的開(kāi)源軟件。與其他Hadoop的SQL引擎相比，它提供了高性能和低延遲。

2020-09-17 14:32:18

數(shù)據(jù)倉(cāng)庫(kù)Hive Impala

報(bào)表自動(dòng)化就是連接數(shù)據(jù)庫(kù)？錯(cuò)，它打開(kāi)了數(shù)據(jù)倉(cāng)庫(kù)的大門

本文簡(jiǎn)單的介紹了一種數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)，主要提及了 OBS 層、DW 層、DM 層，這里過(guò)多的說(shuō)了概念，后面開(kāi)始拋出細(xì)節(jié)。比如后面讓我們來(lái)聊聊 DW 層建模方法之維度建模。

2020-09-04 10:01:00

數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化報(bào)表

4分鐘帶你看懂究竟什么是數(shù)據(jù)倉(cāng)庫(kù)？

2020-07-07 07:57:45

數(shù)據(jù)倉(cāng)庫(kù)

選擇現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)滿足你的數(shù)據(jù)需求

現(xiàn)在，大數(shù)據(jù)平臺(tái)的使用范圍包括車間機(jī)器人訪問(wèn)現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)以改善其機(jī)器人動(dòng)作，到日常工作中業(yè)務(wù)人員使用越來(lái)越智能的分析工具。

2020-06-22 17:26:36

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)DWS與數(shù)據(jù)庫(kù)RDS、MapReduce的區(qū)別

華為云618年中云鉅惠，大數(shù)據(jù)+AI專場(chǎng)熱銷中，精選10+大數(shù)據(jù)、AI產(chǎn)品，有很多朋友對(duì)于數(shù)據(jù)倉(cāng)庫(kù)DWS、數(shù)據(jù)庫(kù)RDS、MapReduce這3個(gè)服務(wù)“傻傻”分不清楚，下面就圖文結(jié)合介紹三個(gè)產(chǎn)品之間的區(qū)別，如何根據(jù)業(yè)務(wù)場(chǎng)景選擇適合的產(chǎn)品。

2020-06-19 17:43:51

華為

上一頁(yè) 1 2 3 4 5 6 7 下一頁(yè)

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)