51CTO首頁(yè)

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠(chǎng)商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線(xiàn)學(xué)習(xí)

文章資源問(wèn)答課堂專(zhuān)欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

數(shù)據(jù)倉(cāng)庫(kù)

313內(nèi)容??

關(guān)注

涵蓋數(shù)據(jù)倉(cāng)庫(kù)相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，幫助用戶(hù)更好的學(xué)習(xí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，最終支撐企業(yè)分析決策。

文章

共 313 條

數(shù)據(jù)倉(cāng)庫(kù)：OLTP與OLAP查詢(xún)

相比之下，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)庫(kù)，分析人員可以查詢(xún)其內(nèi)心的內(nèi)容，而不會(huì)影響OLTP操作。數(shù)據(jù)倉(cāng)庫(kù)包含公司所有各種OLTP系統(tǒng)中數(shù)據(jù)的只讀副本。

2020-06-11 08:56:34

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)

未卜先知，現(xiàn)代化數(shù)據(jù)倉(cāng)庫(kù)帶來(lái)強(qiáng)大商業(yè)智能

在當(dāng)前這個(gè)數(shù)據(jù)爆炸的時(shí)代，企業(yè)數(shù)字化程度越高，越會(huì)重視數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用。對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行多維度分析，在看似雜亂無(wú)章的數(shù)據(jù)中尋找規(guī)律、預(yù)測(cè)趨勢(shì)，從而未卜先知，做出正確的商業(yè)決策。現(xiàn)代化數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用不僅可以提高企業(yè)的決策能力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力，同時(shí)還有助于發(fā)掘新商機(jī)，加快業(yè)務(wù)發(fā)展步伐。

2020-05-20 10:33:48

Cloudera 商業(yè)智能數(shù)據(jù)倉(cāng)庫(kù)

阿里云自研技術(shù)拿下世界第一云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB登頂TPC-DS

由于傳統(tǒng)數(shù)據(jù)庫(kù)廠(chǎng)商對(duì)分布式和并行能力的支持欠佳，該榜單自2006年公布以來(lái)，還沒(méi)有一家傳統(tǒng)數(shù)據(jù)庫(kù)廠(chǎng)商能通過(guò)測(cè)試，目前也僅有3家企業(yè)上榜。

2020-05-14 16:11:20

阿里云

如何在Hadoop上建立數(shù)據(jù)倉(cāng)庫(kù)

大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)倉(cāng)庫(kù)是許多組織正在探索的標(biāo)準(zhǔn)用例。采用這種方法的原因可能是大數(shù)據(jù)平臺(tái)提供的許多靈活性之一。

2020-04-06 13:52:45

數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)平臺(tái)Hadoop

探索Hadoop與數(shù)據(jù)倉(cāng)庫(kù)之間的關(guān)系

在大數(shù)據(jù)世界中用于BI和分析的新平臺(tái)的需求，并描述了三種常用的基本數(shù)據(jù)架構(gòu)：數(shù)據(jù)倉(cāng)庫(kù)，大規(guī)模并行處理系統(tǒng)(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)

干貨：數(shù)據(jù)倉(cāng)庫(kù)、OLAP和數(shù)據(jù)挖掘、統(tǒng)計(jì)分析的關(guān)系和區(qū)別分析

數(shù)據(jù)挖掘(Data Mining)，又稱(chēng)為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database, KDD)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過(guò)程，簡(jiǎn)單的說(shuō)，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。

2020-03-31 14:57:56

數(shù)據(jù)挖掘 OLAP 統(tǒng)計(jì)

一套 SQL 搞定數(shù)據(jù)倉(cāng)庫(kù)？Flink有了新嘗試

數(shù)據(jù)倉(cāng)庫(kù)是公司數(shù)據(jù)發(fā)展到一定規(guī)模后必然需要提供的一種基礎(chǔ)服務(wù)，也是“數(shù)據(jù)智能”建設(shè)的基礎(chǔ)環(huán)節(jié)。迅速獲取數(shù)據(jù)反饋不僅有利于改善產(chǎn)品及用戶(hù)體驗(yàn)，更有利于公司的科學(xué)決策，因此獲取數(shù)據(jù)的實(shí)時(shí)性尤為重要。

2020-03-19 12:15:09

SQL Flink 數(shù)倉(cāng)

如何首次構(gòu)建云數(shù)據(jù)倉(cāng)庫(kù)

對(duì)很多組織來(lái)說(shuō)，如何首次成功地構(gòu)建云數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)難題，因此需要了解一些知識(shí)和技巧。

2020-02-17 11:37:54

大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

基于Flink構(gòu)建的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，這才是OPPO數(shù)據(jù)中臺(tái)的基礎(chǔ)

大家都知道 OPPO 是做智能手機(jī)的，但并不知道 OPPO 與互聯(lián)網(wǎng)以及大數(shù)據(jù)有什么關(guān)系，下圖概要介紹了 OPPO 的業(yè)務(wù)與數(shù)據(jù)情況。

2020-02-05 15:09:38

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)中臺(tái)OPPO

大數(shù)據(jù)時(shí)代，數(shù)據(jù)湖并不能完全取代數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)為組織了解其歷史業(yè)務(wù)表現(xiàn)和推動(dòng)持續(xù)運(yùn)營(yíng)提供了一個(gè)接入窗口，為數(shù)據(jù)分析師和業(yè)務(wù)用戶(hù)提供了諸如客戶(hù)行為、業(yè)務(wù)趨勢(shì)、運(yùn)營(yíng)效率和銷(xiāo)售等方面的信息。

2020-01-08 21:53:06

大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖

大數(shù)據(jù)之?dāng)?shù)據(jù)倉(cāng)庫(kù)分層

數(shù)據(jù)分層是一套行之有效的數(shù)據(jù)組織和管理方法，使得數(shù)據(jù)體系更有序。每一個(gè)數(shù)據(jù)分層都有它的作用域和職責(zé)，在使用表的時(shí)候能更方便的定位和理解。

2020-01-03 09:40:13

大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)分層

馬蜂窩大數(shù)據(jù)架構(gòu)詳解：小白都能懂的數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)中臺(tái)

最近幾年，數(shù)據(jù)中臺(tái)概念的熱度一直不減。2018 年起，馬蜂窩也開(kāi)始了自己的數(shù)據(jù)中臺(tái)探索之路。數(shù)據(jù)中臺(tái)到底是什么?要不要建?和數(shù)據(jù)倉(cāng)庫(kù)有什么本質(zhì)的區(qū)別?相信很多企業(yè)都在關(guān)注這些問(wèn)題。

2019-12-17 14:59:27

數(shù)據(jù)中臺(tái)數(shù)據(jù)倉(cāng)庫(kù)馬蜂窩

云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)的下一步是什么

如果說(shuō)多云是當(dāng)今數(shù)據(jù)倉(cāng)庫(kù)采用的戰(zhàn)略，那么跨云就是它對(duì)未來(lái)的愿景。這種預(yù)測(cè)來(lái)自于一種普遍的需求，即在不同云計(jì)算提供商的不同區(qū)域之間，甚至在不同的云平臺(tái)之間無(wú)縫地移動(dòng)和交換數(shù)據(jù)。

2019-10-28 13:54:45

多云數(shù)據(jù)云計(jì)算

辨析BI、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)內(nèi)涵及差異點(diǎn)

隨著大數(shù)據(jù)技術(shù)的不斷更新和迭代，數(shù)據(jù)管理工具得到了飛速的發(fā)展，相關(guān)概念如雨后春筍一般應(yīng)運(yùn)而生，如從最初決策支持系統(tǒng)(DSS)到商業(yè)智能(BI)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)等。

2019-10-09 16:38:50

數(shù)據(jù)平臺(tái)架構(gòu)

7大云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)

優(yōu)秀云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)展示了近年來(lái)云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)發(fā)展的特性，因?yàn)楹芏嗥髽I(yè)更多地采用云計(jì)算，并減少了自己的物理數(shù)據(jù)中心足跡。

2019-09-26 10:56:04

云計(jì)算數(shù)據(jù)中心公共云

云數(shù)據(jù)倉(cāng)庫(kù)Snowflake、Panoply和Repods的全面大比拼譯文

您在找合適的云數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)嗎?本文為您比較三種常見(jiàn)的平臺(tái)，全面為你分析它們?cè)诓煌矫娴膬?yōu)缺點(diǎn)。

2019-09-12 09:03:11

架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)云服務(wù)

數(shù)據(jù)分析必不可少之?dāng)?shù)據(jù)倉(cāng)庫(kù)！

數(shù)據(jù)倉(cāng)庫(kù)的目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境，為企業(yè)提供決策支持(Decision Support)。數(shù)據(jù)倉(cāng)庫(kù)本身并不“生產(chǎn)”任何數(shù)據(jù)，同時(shí)自身也不需要“消費(fèi)”任何的數(shù)據(jù)，數(shù)據(jù)來(lái)源于外部，并且開(kāi)放給外部應(yīng)用，這也是為什么叫“倉(cāng)庫(kù)”，而不叫“工廠(chǎng)”的原因。

2019-06-06 14:08:37

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分析數(shù)據(jù)報(bào)表

BI和數(shù)據(jù)倉(cāng)庫(kù)：企業(yè)分析決策真的離不開(kāi)數(shù)據(jù)倉(cāng)庫(kù)嗎？

很長(zhǎng)一段時(shí)間，BI和數(shù)據(jù)倉(cāng)庫(kù)幾乎都是如影隨形、難舍難分。企業(yè)如果想要實(shí)行“數(shù)據(jù)驅(qū)動(dòng)決策-決策推動(dòng)業(yè)務(wù)發(fā)展”的機(jī)制，就必須先有數(shù)據(jù)倉(cāng)庫(kù)充當(dāng)中央存儲(chǔ)庫(kù)，供BI查詢(xún)和調(diào)取，然后再在BI上進(jìn)行數(shù)據(jù)的分析與可視化。

2019-05-24 11:51:18

BI 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分析

一出上云大戲，一曲數(shù)據(jù)倉(cāng)庫(kù)的悲歌？

可以說(shuō)，不久前，計(jì)算依然是一個(gè)非常昂貴的資源，數(shù)據(jù)倉(cāng)庫(kù)還受到“稀缺性管理(managing from scarcity)”觀(guān)念的限制。相反，各類(lèi)方案數(shù)據(jù)設(shè)計(jì)也在盡量減少數(shù)據(jù)庫(kù)的規(guī)模，比如通過(guò)聚合數(shù)據(jù)、創(chuàng)建復(fù)雜的子數(shù)據(jù)庫(kù)設(shè)計(jì)和密切監(jiān)測(cè)資源的使用等。

2019-01-23 16:07:54

數(shù)據(jù)倉(cāng)庫(kù)云 Hadoop

解讀|華為云DWS入選Forrester云數(shù)據(jù)倉(cāng)庫(kù)報(bào)告

近期，權(quán)威IT咨詢(xún)機(jī)構(gòu)Forrester發(fā)布了"The Forrester WaveTM: Cloud Data Warehouse Q4 2018"研究報(bào)告，華為云企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)成功上榜。

2018-11-28 17:25:47

華為云

蘇寧數(shù)據(jù)倉(cāng)庫(kù)應(yīng)對(duì)數(shù)據(jù)爆發(fā)式增長(zhǎng)的技術(shù)演進(jìn) 原創(chuàng)

隨著公司業(yè)務(wù)不斷發(fā)展，數(shù)據(jù)種類(lèi)和存儲(chǔ)呈現(xiàn)爆發(fā)式增長(zhǎng)，繁多的業(yè)務(wù)數(shù)據(jù)如何被各業(yè)務(wù)中心分析和使用，如何有效組織和管理大量業(yè)務(wù)數(shù)據(jù)，減少大數(shù)據(jù)平臺(tái)相近邏輯重復(fù)計(jì)算、相近數(shù)據(jù)重復(fù)存儲(chǔ)，都將面臨巨大挑戰(zhàn)。

2018-11-06 09:30:38

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)蘇寧

你的數(shù)據(jù)倉(cāng)庫(kù)還在為企業(yè)業(yè)務(wù)拖后腿嗎? 原創(chuàng)

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)長(zhǎng)期以來(lái)一直是企業(yè)IT架構(gòu)的重要組成部分。隨著開(kāi)源技術(shù)的不斷發(fā)展以及云端部署方式的不斷深入，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的局限性日益凸顯，難以適應(yīng)新技術(shù)帶來(lái)的市場(chǎng)變革，如何面向大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)化、轉(zhuǎn)型是企業(yè)IT管理者面臨的重要挑戰(zhàn)。處于不同階段的企業(yè)如何應(yīng)用大數(shù)據(jù)技術(shù)?如何面向大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)型?如何對(duì)現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行優(yōu)化?如何在Hadoop中進(jìn)行性能優(yōu)化?這些已成為困擾IT管理者的主要問(wèn)題。

2018-09-24 09:15:12

數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)

大數(shù)據(jù)時(shí)代，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是否已經(jīng)過(guò)時(shí)？

傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)由源系統(tǒng)、ODS、EDW、Data Mart這幾部分組成，源系統(tǒng)就是業(yè)務(wù)系統(tǒng)、生產(chǎn)系統(tǒng)，ODS是操作數(shù)據(jù)存儲(chǔ)，EDW是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，Data Mart是數(shù)據(jù)集市。

2018-07-26 10:26:09

大數(shù)據(jù)傳統(tǒng)數(shù)據(jù)

收集和存儲(chǔ)數(shù)據(jù)——數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)產(chǎn)品的工作比較雜，從數(shù)據(jù)倉(cāng)庫(kù)建模，指標(biāo)體系建立，到數(shù)據(jù)產(chǎn)品工具的設(shè)計(jì)，再到偶爾一些數(shù)據(jù)分析報(bào)告的撰寫(xiě)，甚至一些機(jī)器學(xué)習(xí)的預(yù)測(cè)模型都要有所了解。

2018-07-24 09:28:18

存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)產(chǎn)品必備技術(shù)知識(shí)：數(shù)據(jù)倉(cāng)庫(kù)入門(mén)，看這這一篇就夠了

對(duì)于準(zhǔn)備求職數(shù)據(jù)產(chǎn)品的童鞋來(lái)說(shuō)，可能身邊沒(méi)有做數(shù)倉(cāng)開(kāi)發(fā)的朋友可以請(qǐng)教。自學(xué)吧，而那幾本經(jīng)典書(shū)籍里面又過(guò)于理論，看起真是生不如死，而且數(shù)據(jù)產(chǎn)品并不是數(shù)據(jù)開(kāi)發(fā)，可能了解一些入門(mén)的常識(shí)，有個(gè)大概的概念就可以了。我也一直零零散散的積累這方面的知識(shí)，這兩天梳理了下，形成下文。

2018-07-13 16:10:21

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)

偶數(shù)科技構(gòu)建新一代數(shù)據(jù)倉(cāng)庫(kù)，與AI應(yīng)用場(chǎng)景更契合原創(chuàng)

現(xiàn)如今的信息化社會(huì)，已經(jīng)被各類(lèi)信息資源所充斥，如何有效地管理和利用各類(lèi)信息資源，是進(jìn)行科學(xué)研究和決策管理的前提條件，數(shù)據(jù)處理是管理信息系統(tǒng)必不可少的核心部分。從人工管理階段到文件系統(tǒng)階段再到現(xiàn)在的數(shù)據(jù)庫(kù)系統(tǒng)階段，數(shù)據(jù)處理在近幾十年經(jīng)歷了質(zhì)的飛躍。

2018-07-10 11:02:48

數(shù)據(jù)倉(cāng)庫(kù)AI 分析型數(shù)據(jù)庫(kù)

華為發(fā)布新一代企業(yè)級(jí)分布式數(shù)據(jù)倉(cāng)庫(kù)FusionInsight LibrA

在華為全球金融峰會(huì)上，華為發(fā)布了新一代企業(yè)級(jí)分布式數(shù)據(jù)倉(cāng)庫(kù)FusionInsight LibrA 解決方案，旨在為各行業(yè)客戶(hù)提供統(tǒng)一的、可擴(kuò)展的、高性能的數(shù)據(jù)分析平臺(tái)。LibrA支持全并行計(jì)算、行列混存、向量化執(zhí)行、彈性伸縮資源等技術(shù)，實(shí)現(xiàn)萬(wàn)億數(shù)據(jù)關(guān)聯(lián)分析秒級(jí)響應(yīng)和全文檢索，從而幫助客戶(hù)快速分析、挖掘數(shù)據(jù)價(jià)值。

2018-04-26 18:23:37

華為

必備數(shù)據(jù)知識(shí)：數(shù)據(jù)倉(cāng)庫(kù)之?dāng)?shù)據(jù)存儲(chǔ)

為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉(cāng)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也可稱(chēng)為部門(mén)數(shù)據(jù)或主題數(shù)據(jù)（subjectarea）。在數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施過(guò)程中往往可以從一個(gè)部門(mén)的數(shù)據(jù)集市著手，以后再用幾個(gè)數(shù)據(jù)集市組成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)。

2018-03-20 09:36:57

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)存儲(chǔ)知識(shí)

關(guān)于Hive數(shù)據(jù)倉(cāng)庫(kù)的那些事兒--數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

在Row-based數(shù)據(jù)庫(kù)中，一行記錄中的每一列都是緊挨著另一列存放在硬盤(pán)中的，行之間也成線(xiàn)性存儲(chǔ)。這樣的模式十分適用于OLTP工作，由于每次操作對(duì)象都是某幾行記錄，每次查詢(xún)只需要從硬盤(pán)中加載最少的數(shù)據(jù)。

2018-03-15 08:50:46

Hive -數(shù)據(jù)存儲(chǔ)

華為開(kāi)放平臺(tái)助力中信銀行（國(guó)際）打造統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)

華為通過(guò)FusionCube一體機(jī)，預(yù)集成了網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、虛擬化操作系統(tǒng)和分布式存儲(chǔ)軟件，采用“X86服務(wù)器+分布式存儲(chǔ)”的架構(gòu)替換傳統(tǒng)的“RISC服務(wù)器+SAN存儲(chǔ)”的架構(gòu)。

2018-01-03 22:14:31

華為

分析型數(shù)據(jù)倉(cāng)庫(kù)中讀寫(xiě)分離的實(shí)現(xiàn)

神策數(shù)據(jù)一直致力于幫助企業(yè)搭建數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)的秒級(jí)響應(yīng)，積累數(shù)據(jù)資產(chǎn)。本文主要通過(guò)神策數(shù)據(jù)在技術(shù)上的探索與實(shí)踐，探討如何利用現(xiàn)有的開(kāi)源組件實(shí)現(xiàn)分析型數(shù)據(jù)倉(cāng)庫(kù)當(dāng)中的讀寫(xiě)分離。

2017-11-24 17:20:37

數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)讀寫(xiě)分離

數(shù)據(jù)倉(cāng)庫(kù)：過(guò)去、現(xiàn)在和未來(lái)

我經(jīng)常接觸數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的需求，而現(xiàn)有的大數(shù)據(jù)系統(tǒng)也希望基于大數(shù)據(jù)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，然而Hadoop為核心發(fā)展起來(lái)的軟件適用于OLAP的數(shù)據(jù)分析需求，OLTP這樣的分布式數(shù)據(jù)庫(kù)系統(tǒng)也如火如荼的發(fā)展。

2017-11-24 13:51:40

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)分析

【漫談數(shù)據(jù)倉(cāng)庫(kù)】如何優(yōu)雅地設(shè)計(jì)數(shù)據(jù)分層

本文主要講解數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要環(huán)節(jié)：如何設(shè)計(jì)數(shù)據(jù)分層!其它關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容可參考之前的文章。本文對(duì)數(shù)據(jù)分層的討論適合下面一些場(chǎng)景，超過(guò)該范圍場(chǎng)景 or 數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)豐富的大神就不必浪費(fèi)時(shí)間看了。

2017-10-20 12:59:05

數(shù)據(jù)分層數(shù)據(jù)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)

五個(gè)小技巧告訴你如何保護(hù)MySQL數(shù)據(jù)倉(cāng)庫(kù)

在數(shù)據(jù)倉(cāng)庫(kù)中，最常見(jiàn)的數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)該是開(kāi)源MySQL數(shù)據(jù)庫(kù)。本文列出了5個(gè)小技巧，幫助用戶(hù)來(lái)更好地保護(hù)MySQL數(shù)據(jù)倉(cāng)庫(kù)。

2017-08-25 09:18:04

MySQL 數(shù)據(jù)倉(cāng)庫(kù)技巧

騰訊云存儲(chǔ)黃炳琪：存儲(chǔ)不僅是數(shù)據(jù)倉(cāng)庫(kù)，而應(yīng)該是生產(chǎn)管道原創(chuàng)

騰訊混合云主要解決了用戶(hù)的兩大痛點(diǎn)，一是數(shù)據(jù)增長(zhǎng)如果超過(guò)了用戶(hù)傳統(tǒng)IDC的容量，可以自動(dòng)化的上傳到有無(wú)限空間的公有云上;二是用戶(hù)的業(yè)務(wù)不用做改動(dòng)，對(duì)業(yè)務(wù)沒(méi)有任何影響。隨著社會(huì)的認(rèn)知、政策的跟進(jìn)，公有云將是未來(lái)的解決方案，但實(shí)際上誰(shuí)都無(wú)法預(yù)測(cè)這一天何時(shí)到來(lái)。因此，通過(guò)先把傳統(tǒng)的存儲(chǔ)改到私有云上，讓私有云再變成混合云，最終到達(dá)公有云存儲(chǔ)解決方案。

2017-08-24 09:12:55

騰訊云存儲(chǔ)

什么是企業(yè)數(shù)據(jù)倉(cāng)庫(kù)？

數(shù)據(jù)分析已經(jīng)成為幫助企業(yè)做出戰(zhàn)略決策的關(guān)鍵。軟件工具可以幫助企業(yè)發(fā)現(xiàn)模式或者發(fā)現(xiàn)各種流程的洞察。用于實(shí)施這些策略的數(shù)據(jù)系統(tǒng)通常作為供應(yīng)商特定的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)解決方案而存在。在這些應(yīng)用程序中，信息被加載和結(jié)構(gòu)化，以便從非常大的數(shù)據(jù)集合中提供最有效的結(jié)果。

2017-08-17 15:52:38

企業(yè)數(shù)據(jù)倉(cāng)庫(kù)

外媒速遞：關(guān)于云數(shù)據(jù)倉(cāng)庫(kù)的幾項(xiàng)關(guān)鍵思考原創(chuàng)

數(shù)據(jù)的增長(zhǎng)與多元化趨勢(shì)給傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)體系帶來(lái)巨大壓力，并直接推動(dòng)各類(lèi)新興技術(shù)方案的誕生。在這樣的時(shí)代背景之下，云解決方案迅速普及，同時(shí)憑借著按使用量計(jì)費(fèi)且易于上手的規(guī)模化優(yōu)勢(shì)切實(shí)同市場(chǎng)需求相對(duì)接。

2017-07-21 08:54:12

云數(shù)據(jù)大數(shù)據(jù)Kubernetes

Hadoop+數(shù)據(jù)倉(cāng)庫(kù)到底是夢(mèng)幻組合還是命中的宿敵？

現(xiàn)在。自從Hadoop出現(xiàn)在舞臺(tái)上之后，一直有人嘀咕說(shuō)，這個(gè)閃亮的新星正在為一些最好的數(shù)據(jù)管理角色提供服務(wù)–這些角色就是，在幾年前，數(shù)據(jù)倉(cāng)庫(kù)已穩(wěn)操勝券。

2017-06-30 09:29:00

Hadoop 數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)模型

可能很多人理解的數(shù)據(jù)倉(cāng)庫(kù)就是基于多維數(shù)據(jù)模型構(gòu)建，用于OLAP的數(shù)據(jù)平臺(tái)，通過(guò)上一篇文章——數(shù)據(jù)倉(cāng)庫(kù)的基本架構(gòu)，我們已經(jīng)看到數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用可能遠(yuǎn)不止這些。

2017-06-27 10:08:29

數(shù)據(jù)倉(cāng)庫(kù)模型

漫談數(shù)據(jù)倉(cāng)庫(kù)之拉鏈表（原理、設(shè)計(jì)以及在Hive中的實(shí)現(xiàn)）

本文將會(huì)談一談在數(shù)據(jù)倉(cāng)庫(kù)中拉鏈表相關(guān)的內(nèi)容，包括它的原理、設(shè)計(jì)、以及在我們大數(shù)據(jù)場(chǎng)景下的實(shí)現(xiàn)方式。

2017-05-16 10:23:51

數(shù)據(jù)倉(cāng)庫(kù)拉鏈表

創(chuàng)業(yè)公司做數(shù)據(jù)分析(六)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)

本文將重點(diǎn)探討數(shù)據(jù)處理層中數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)。在第二篇運(yùn)營(yíng)數(shù)據(jù)系統(tǒng)一文，有提到早期的數(shù)據(jù)服務(wù)中存在不少問(wèn)題，雖然在做運(yùn)營(yíng)Dashboard系統(tǒng)時(shí)，對(duì)后臺(tái)數(shù)據(jù)服務(wù)進(jìn)行了梳理，構(gòu)建了數(shù)據(jù)處理的底層公共庫(kù)等，但是仍然存在一些問(wèn)題。

2017-04-06 22:15:07

數(shù)據(jù)分析數(shù)據(jù)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)

支付風(fēng)控?cái)?shù)據(jù)倉(cāng)庫(kù)建設(shè)

支付系統(tǒng)的風(fēng)控分析需要大量的數(shù)據(jù)支撐。本文從名單、畫(huà)像和圖譜三個(gè)層面，分析在支付系統(tǒng)建設(shè)的不同階段如何建立支持風(fēng)控計(jì)算的數(shù)據(jù)倉(cāng)庫(kù)，詳細(xì)介紹從什么地方采集數(shù)據(jù)、如何采集數(shù)據(jù)、以及如何存儲(chǔ)這些數(shù)據(jù)。

2017-03-01 10:50:45

支付風(fēng)控數(shù)據(jù)

基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)Hive基礎(chǔ)知識(shí)

Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，可對(duì)存儲(chǔ)在HDFS上的文件中的數(shù)據(jù)集進(jìn)行數(shù)據(jù)整理、特殊查詢(xún)和分析處理，提供了類(lèi)似于SQL語(yǔ)言的查詢(xún)語(yǔ)言–HiveQL，可通過(guò)HQL語(yǔ)句實(shí)現(xiàn)簡(jiǎn)單的MR統(tǒng)計(jì)，Hive將HQL語(yǔ)句轉(zhuǎn)換成MR任務(wù)進(jìn)行執(zhí)行。

2017-02-28 09:21:56

Hadoop Hive 數(shù)據(jù)倉(cāng)庫(kù)

從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)湖——淺談數(shù)據(jù)架構(gòu)演進(jìn)(加強(qiáng)版)

我們嘗試過(guò)在數(shù)據(jù)加載過(guò)程中自學(xué)習(xí)的產(chǎn)生數(shù)據(jù)庫(kù)schema，證明這個(gè)思路是可行的。基于結(jié)構(gòu)化的數(shù)據(jù)，這個(gè)過(guò)程非常容易。但對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)，還是存在很大的挑戰(zhàn)。使用機(jī)器學(xué)習(xí)的方式，模型訓(xùn)練成本恐怕和人工抽取schema的工作量是相當(dāng)?shù)摹＿@是開(kāi)放的話(huà)題，可以討論。

2017-01-22 15:43:47

數(shù)據(jù)架構(gòu)演進(jìn)

數(shù)據(jù)倉(cāng)庫(kù)中的SQL性能優(yōu)化（Hive篇）

一個(gè)Hive查詢(xún)生成多個(gè)map reduce job，一個(gè)map reduce job又有map，reduce，spill，shuffle，sort等多個(gè)階段，所以針對(duì)hive查詢(xún)的優(yōu)化可以大致分為針對(duì)M/R中單個(gè)步驟的優(yōu)化，針對(duì)M/R全局的優(yōu)化，和針對(duì)整個(gè)查詢(xún)（多M/R job）的優(yōu)化，下文會(huì)分別闡述。

2016-12-21 12:46:47

數(shù)據(jù)倉(cāng)庫(kù)SQL Hive

Hadoop工具引發(fā)的改變和提升：讓數(shù)據(jù)倉(cāng)庫(kù)遷移更輕松

從高成本數(shù)據(jù)倉(cāng)庫(kù)將任務(wù)卸載有時(shí)被看做是Hadoop商用集群的首要目標(biāo)。遷移提取、轉(zhuǎn)換、加載(ETL)、查詢(xún)以及報(bào)告工作并不能顯著改變商業(yè)模式，但它可能會(huì)抑制數(shù)據(jù)倉(cāng)庫(kù)的增長(zhǎng)和成本。

2016-11-16 13:34:41

Hadoop 數(shù)據(jù)倉(cāng)庫(kù)

Hadoop工具讓數(shù)據(jù)倉(cāng)庫(kù)遷移更輕松

2016-11-14 10:23:08

Hadoop工具大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)

如何利用數(shù)據(jù)倉(cāng)庫(kù)優(yōu)化數(shù)據(jù)分析?

在整個(gè)數(shù)據(jù)分析流程中，數(shù)據(jù)處理的時(shí)間往往要占據(jù)70%以上!這個(gè)數(shù)字有沒(méi)有讓你震驚呢?為了提高分析效率和質(zhì)量，借用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)分析是一個(gè)很好的選擇，詳細(xì)的工作方法本文都有所介紹。

2016-11-08 09:16:54

數(shù)據(jù)倉(cāng)庫(kù)優(yōu)化

新型數(shù)據(jù)準(zhǔn)備工具來(lái)襲你還在使用傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)嗎?

隨著企業(yè)員工越來(lái)越精通于使用分析工具，他們當(dāng)中越來(lái)越多的人發(fā)現(xiàn)，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)阻礙了他們分析某些重要數(shù)據(jù)的能力,而新興的自助型數(shù)據(jù)準(zhǔn)備工具可以幫助業(yè)務(wù)分析師、數(shù)據(jù)科學(xué)家和其他最終用戶(hù)繞過(guò)數(shù)據(jù)倉(cāng)庫(kù)，完成數(shù)據(jù)集成和制備過(guò)程的關(guān)鍵部分。

2016-08-21 14:45:41

數(shù)據(jù)倉(cāng)庫(kù)自助型數(shù)據(jù)準(zhǔn)備工具

數(shù)據(jù)倉(cāng)庫(kù)中如何使用索引

數(shù)據(jù)倉(cāng)庫(kù)的索引是個(gè)棘手的問(wèn)題。在創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)索引的時(shí)候需要考慮一些參數(shù)比如數(shù)據(jù)倉(cāng)庫(kù)類(lèi)型、維度表和事實(shí)表大小、是否分區(qū)、是否AD hoc等等。這些參數(shù)決定了你的索引結(jié)構(gòu)。這里我們只是介紹一點(diǎn)小經(jīng)驗(yàn)。

2016-08-15 12:57:01

數(shù)據(jù)倉(cāng)庫(kù)索引架構(gòu)維度索引

上一頁(yè) 1 2 3 4 5 6 7 下一頁(yè)

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)