精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認證

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認證華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

大數(shù)據(jù)

9381內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領(lǐng)域。

文章博文帖子課程

共 225 條

【Pyspark】常用數(shù)據(jù)分析基礎(chǔ)操作

文章目錄零、準(zhǔn)備工作0.1 安裝pyspark一、pyspark.sql部分1.窗口函數(shù)2.更換列名：3.sql將一個字段根據(jù)某個字符拆分成多個字段顯示4.pd和spark的dataframe進行轉(zhuǎn)換

2023-04-14 16:42:26

數(shù)據(jù)分析 pyspark 特征工程

詳解 Flink Catalog 在 ChunJun 中的實踐之路

我們知道 Flink 有Table（表）、View（視圖）、Function（函數(shù)/算子）、Database（數(shù)據(jù)庫）的概念，相對于這些耳熟能詳?shù)母拍睿現(xiàn)link 里還有一個 Catalog（目錄）的概念。本文將為大家?guī)?Flink Catalog 的介紹以及 Flink Catalog 在 ChunJun 中的實踐之路。Flink Catalog 簡介Catalog 提供元數(shù)據(jù)，如數(shù)據(jù)庫、表

2023-04-07 14:25:37

MapReduce報錯：「MKDirs failed to create file」

MapReduce報錯：「MKDirs failed to create file」??0. 寫在前面???1. 程序代碼及報錯信息???輸入、輸出路徑????程序代碼????報錯信息??2. 查找資料??3. 原因分析????4. 參考??0. 寫在前面Linux：Ubuntu Kylin16.04Hadoop：Hadoop2.7.21. 程序代碼及報錯信息輸入、輸出路徑zhangsan@had

2023-03-15 09:44:59

java hadoop Mapreduce

數(shù)據(jù)測試實踐：從一個bug開始的大數(shù)據(jù)引擎兼容性探索

在大數(shù)據(jù)時代，精準(zhǔn)而有效的數(shù)據(jù)對于每個致力于長期發(fā)展的組織來說都是重要資產(chǎn)之一，而數(shù)據(jù)測試更是不可或缺的一部分。數(shù)據(jù)測試不僅關(guān)注數(shù)據(jù)加工的代碼邏輯，還要考慮大數(shù)據(jù)執(zhí)行引擎帶來的影響，因為各種引擎框架將對同一份數(shù)據(jù)產(chǎn)生不同的計算或檢索結(jié)果。本文將從一個年度賬單bug引入，講解在數(shù)據(jù)測試實踐中對大數(shù)據(jù)執(zhí)行引擎兼容性差異的探索。

2023-03-07 11:32:05

Hive 大數(shù)據(jù)數(shù)據(jù)測試

Spark數(shù)據(jù)清洗【時間數(shù)據(jù)處理】

spark處理日期數(shù)據(jù)全解

2023-03-06 12:14:17

spark 日期時間毫秒級時間戳

使用Maven構(gòu)建Hadoop工程并實現(xiàn)詞頻統(tǒng)計案例(詳細篇)

使用Maven構(gòu)建Hadoop工程并實現(xiàn)詞頻統(tǒng)計案例(詳細篇)一、實驗環(huán)境：Hadoop3.1.3IDEACentOS7.5Maven3.6.3偽分布式二、使用Maven構(gòu)建Hadoop工程1.解壓Maven到自己的安裝目錄tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/2.配置Maven環(huán)境變量vim /etc/profile.d

2023-02-14 08:39:07

hadoop maven 大數(shù)據(jù)

springboot：java實現(xiàn)郵件及附件發(fā)送、HTML正文的三種方式（三）【附帶源碼】

從代碼可以看出spring-boot-starter-mail與javax.mail的實現(xiàn)類似，都是通過類實現(xiàn)，但一定不要盲目的復(fù)制粘貼，理解，自己一行一行的復(fù)寫一遍代碼，這是千萬不能省的！

2023-02-05 09:27:58

java spring boot html

Spark Shuffle解析

1 Shuffle的核心要點1.1 ShuffleMapStage與ResultStage圖ShuffleMapStage與ResultStage在劃分stage時，最后一個stage稱為finalStage，它本質(zhì)上是一個ResultStage對象，前面的所有stage被稱為ShuffleMapStage。ShuffleMapStage的結(jié)束伴隨著shuffle文件的寫磁盤。ResultStag

2023-01-31 09:09:34

數(shù)據(jù)運行機制數(shù)據(jù)結(jié)構(gòu)

Spark 通訊架構(gòu)和調(diào)度

1、Spark 通訊架構(gòu)1.1 Spark通信架構(gòu)概述Spark2.x版本使用Netty通訊框架作為內(nèi)部通訊組件。spark 基于netty新的rpc框架借鑒了Akka的中的設(shè)計，它是基于Actor模型，如下圖所示：圖 Actor模型Spark通訊框架中各個組件（Client/Master/Worker）可以認為是一個個獨立的實體，各個實體之間通過消息來進行通信。具體各個組件之間的關(guān)系圖如下：圖

2023-01-30 14:18:38

調(diào)度策略數(shù)據(jù)任務(wù)調(diào)度

大數(shù)據(jù)Hadoop-04.高可用集群安裝

Hadoop 3.3.4 高可用集群安裝

2023-01-23 19:45:52

Hadoop 大數(shù)據(jù)數(shù)據(jù)分析

大數(shù)據(jù)Zookeeper-01.單機環(huán)境安裝

Zookeeper單機環(huán)境安裝

2023-01-17 17:04:06

Zookeeper 大數(shù)據(jù)數(shù)據(jù)分析

HDFS機架感知

HDFS機架感知

2023-01-16 16:22:15

機架感知 Hadoop

大數(shù)據(jù)平臺datasophon 測試部署

標(biāo)簽（空格分隔）：大數(shù)據(jù)運維專欄一：datasophon的介紹1.1datasophon的介紹DataSophon是近日開源的一款國產(chǎn)自研大數(shù)據(jù)管理平臺，致力于快速實現(xiàn)部署、管理、監(jiān)控以及自動化運維大數(shù)據(jù)服務(wù)組件和節(jié)點的能力，幫助你快速構(gòu)建起穩(wěn)定、高效的大數(shù)據(jù)集群服務(wù)。主要有以下特性:極易部署，1小時可完成300節(jié)點的大數(shù)據(jù)集群部署國產(chǎn)化兼容，兼容ARM服務(wù)器和常用國產(chǎn)化操作系統(tǒng)監(jiān)控指標(biāo)全面豐富，

2023-01-11 15:36:41

大數(shù)據(jù)平臺dataso datasophon hadoop

HDFS，MapReduce，Yarn的架構(gòu)思想和設(shè)計原理

Hadoop 三大組件：HDFS，MapReduce，Yarn 的架構(gòu)分析和原理1引子????????大數(shù)據(jù)就是將各種數(shù)據(jù)統(tǒng)一收集起來進行計算，發(fā)掘其中的價值。這些數(shù)據(jù)，既包括數(shù)據(jù)庫的數(shù)據(jù)，也包括日志數(shù)據(jù)，還包括專門采集的用戶行為數(shù)據(jù)；既包括企業(yè)內(nèi)部自己產(chǎn)生的數(shù)據(jù)，也包括從第三方采購的數(shù)據(jù)，還包括使用網(wǎng)絡(luò)爬蟲獲取的各種

2023-01-07 00:14:02

數(shù)據(jù)服務(wù)器 HDFS

Flink SQL管理平臺flink-streaming-platform-web安裝搭建

我的gitee地址：https://gitee.com/ddxygq/bigdatatechnicalpai最近看到有人在用flinksql的頁面管理平臺，大致看了下，嘗試安裝使用，比原生的flinksql界面確實好用多了，我們看下原生的，通過bin/sqlclient.sh命令進入那個黑框，一只松鼠，對，就是那個界面。。。。這個工具不是Flink官方出的，是一個國內(nèi)的小伙伴寫的，Github地址

2022-12-06 14:55:07

flink sql kafka

三大實例帶你搞定 Prometheus API 使用

作為一位優(yōu)秀的技術(shù)人員，往往能通過對數(shù)據(jù)的最大化利用來產(chǎn)生更多價值。而 Prometheus 的監(jiān)控數(shù)據(jù)則是可以為我們所用的重要數(shù)據(jù)，它并不只能用于日常的監(jiān)控和告警使用，也可以用于數(shù)據(jù)分析、成本管理等企業(yè)需求。在這種場景下，需要我們從 Prometheus 去獲取相關(guān)的數(shù)據(jù)，并對其進行處理加工。關(guān)于數(shù)據(jù)的獲取方法，通常會使用 Prometheus 提供的 API 來操作，本文將會對此進行講解介紹。

2022-11-30 10:19:45

數(shù)據(jù)時間戳獲取數(shù)據(jù)

CDH5部署三部曲之二：部署和設(shè)置

本文是《CDH5部署三部曲》的第二篇，前文將集群所有機器做了必要的設(shè)置，今天一起來完成CDH的部署、啟動、設(shè)置等操作

2022-11-28 00:06:12

cloudera CDH 大數(shù)據(jù)

CDH5部署三部曲之一：準(zhǔn)備工作

CDH5部署前的準(zhǔn)備工作，包括系統(tǒng)設(shè)置、安裝文件下載等

2022-11-27 14:15:11

cloudera java cdh

Hudi Upsert原理

2022-11-24 10:07:15

數(shù)據(jù)加載 spark

Hadoop總結(jié)——Hadoop基礎(chǔ)

Hadoop基礎(chǔ)

2022-11-06 15:26:12

hadoop 數(shù)據(jù)mapreduce

【W(wǎng)eb開發(fā)】Python實現(xiàn)Web儀表盤功能（Grafana）

Grafana是一個開源的，擁有豐富dashboard和圖表編輯的指標(biāo)分析平臺，

2022-11-05 22:38:55

python web server grafana

字節(jié)跳動開源數(shù)據(jù)集成引擎 BitSail 的演進歷程與能力解析

導(dǎo)讀BitSail 是字節(jié)跳動開源數(shù)據(jù)集成引擎，支持多種異構(gòu)數(shù)據(jù)源間的數(shù)據(jù)同步，并提供離線、實時、全量、增量場景下全域數(shù)據(jù)集成解決方案，目前支撐了字節(jié)內(nèi)部和火山引擎多個客戶的數(shù)據(jù)集成需求。經(jīng)過字節(jié)跳動各大業(yè)務(wù)線海量數(shù)據(jù)的考驗，在性能、穩(wěn)定性上得到較好驗證。10 月 26 日，字節(jié)跳動宣布 BitSail 項目正式在 GitHub 開源，為更多的企業(yè)和開發(fā)者帶來便利，降低數(shù)據(jù)建設(shè)的成本，讓數(shù)據(jù)高效地

2022-11-03 11:51:33

數(shù)據(jù)flink 數(shù)據(jù)集成

SQL進階篇之函數(shù)

SQL 擁有很多可用于計數(shù)和計算的內(nèi)建函數(shù)，他們可以讓數(shù)據(jù)統(tǒng)計工作更加便利

2022-10-21 00:40:10

sql 結(jié)果集函數(shù)返回

SQL進階篇之高級應(yīng)用

在實際的數(shù)據(jù)庫使用中，除了CRUD，還有很多高級應(yīng)用值得學(xué)習(xí)和掌握，能夠在平時的工作中得到很多便利

2022-10-19 04:15:11

sql 數(shù)據(jù)類型結(jié)果集

阿里云大數(shù)據(jù)開發(fā)一面面經(jīng)，已過，面試題已配答案

阿里云大數(shù)據(jù)開發(fā)一面面經(jīng)，已過，面試題已配答案

2022-10-18 12:25:24

spark hadoop 大數(shù)據(jù)開發(fā)面試題

Spark常規(guī)性能調(diào)優(yōu)（一）

1、常規(guī)性能調(diào)優(yōu)一：最優(yōu)資源配置Spark性能調(diào)優(yōu)的第一步，就是為任務(wù)分配更多的資源，在一定范圍內(nèi)，增加資源的分配與性能的提升是成正比的，實現(xiàn)了最優(yōu)的資源配置后，在此基礎(chǔ)上再考慮進行后面論述的性能調(diào)優(yōu)策略。資源的分配在使用腳本提交Spark任務(wù)時進行指定，標(biāo)準(zhǔn)的Spark任務(wù)提交腳本如代碼清單所示/usr/opt/modules/spark/bin/spark-submit \ --c

2022-10-15 22:13:15

spark 數(shù)據(jù)持久化

SQL進階篇之多表聯(lián)查

在實際開發(fā)過程中，隨著產(chǎn)品迭代，多表聯(lián)查無法避免

2022-10-14 17:31:43

sql 結(jié)果集主鍵

SQL進階篇之約束(Constraints)

約束用于限制加入表的數(shù)據(jù)的類型，可以在創(chuàng)建表時規(guī)定約束(通過 CREATE TABLE 語句)，或者在表創(chuàng)建之后也可以(通過 ALTER TABLE 語句)

2022-10-14 15:17:40

sql oracle mysql

Spark常見數(shù)據(jù)傾斜情況及調(diào)優(yōu)方案

1、數(shù)據(jù)傾斜Spark中的數(shù)據(jù)傾斜問題主要指shuffle過程中出現(xiàn)的數(shù)據(jù)傾斜問題，是由于不同的key對應(yīng)的數(shù)據(jù)量不同導(dǎo)致的不同task所處理的數(shù)據(jù)量不同的問題例如，reduce點一共要處理100萬條數(shù)據(jù)，第一個和第二個task分別被分配到了1萬條數(shù)據(jù)，計算5分鐘內(nèi)完成，第三個task分配到了98萬數(shù)據(jù)，此時第三個task可能需要10個小時完成，這使得整個Spark作業(yè)需要10個小時才能運行完成，

2022-10-14 12:01:57

數(shù)據(jù)傾斜數(shù)據(jù)spark

Spark Troubleshooting

1、故障排除一：控制reduce端緩沖大小以避免OOM在Shuffle過程，reduce端task并不是等到map端task將其數(shù)據(jù)全部寫入磁盤后再去拉取，而是map端寫一點數(shù)據(jù)，reduce端task就會拉取一小部分?jǐn)?shù)據(jù)，然后立即進行后面的聚合、算子函數(shù)的使用等操作reduce端task能夠拉取多少數(shù)據(jù)，由reduce拉取數(shù)據(jù)的緩沖區(qū)buffer來決定，因為拉取過來的數(shù)據(jù)都是先放在buffer中

2022-10-13 00:28:55

數(shù)據(jù)spark 故障排除

使用Hadoop patch包修復(fù)的一次經(jīng)歷

原因：因為公司的平臺的數(shù)據(jù)量在30P左右，使用了Hadoop3.1.2的版本，而且使用的糾刪碼功能，報錯信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

2022-10-11 18:02:20

hadoop hdfs java

【設(shè)計模式】【第五章】【開具增值稅發(fā)票】【建造者模式 + 原型模式】

【設(shè)計模式】【開具增值稅發(fā)票】【建造者模式 + 原型模式】

2022-10-03 10:51:09

設(shè)計模式建造者模式原型模式

字節(jié)跳動基于Doris的湖倉分析探索實踐

更多技術(shù)交流、求職機會，歡迎關(guān)注字節(jié)跳動數(shù)據(jù)平臺微信公眾號，回復(fù)【1】進入官方交流群Doris簡介Doris是一種MPP架構(gòu)的分析型數(shù)據(jù)庫，主要面向多維分析，數(shù)據(jù)報表，用戶畫像分析等場景。自帶分析引擎和存儲引擎，支持向量化執(zhí)行引擎，不依賴其他組件，兼容MySQL協(xié)議。Apache Doris具備以下幾個特點：良好的架構(gòu)設(shè)計，支持高并發(fā)低延時的查詢服務(wù)，支持高吞吐量的交互式分析。多FE均可對外提供服

2022-09-29 15:01:03

Presto安裝集成kerberos

解壓presto-server包tar -zxvf presto-server-0.276.tar.gz件目錄結(jié)構(gòu)如下drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bindrwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib-rw-r--r-- 1 rong rong 191539 Mar 5...

2022-09-27 06:12:38

hive hadoop hdfs

開源交流丨一站式大數(shù)據(jù)平臺運維管家ChengYing安裝原理剖析

本期我們帶大家回顧一下漫路同學(xué)的直播分享《ChengYing 安裝原理剖析》。本期內(nèi)容多為實戰(zhàn)演示，歡迎有興趣的同學(xué)去 B 站配合視頻觀看，便于理解。一、ChengYing 安裝原理ChengYing 安裝主要分為下面八個模塊的內(nèi)容，下面為大家介紹一下每個模塊主要能做的事情：1、主機編排一個組件包里面有很多服務(wù)，指定服務(wù)安裝到哪些主機。2、沖突校驗根據(jù)組件包之間的依賴關(guān)系，校驗編排結(jié)果是否符合部署

2022-09-09 14:17:36

自定義配置信息配置文件

終于有人把不同標(biāo)簽的加工內(nèi)容與落庫講明白了丨DTVision分析洞察篇

上一篇文章詳細給大家介紹了標(biāo)簽的設(shè)計與加工，在標(biāo)簽生命周期流程中，標(biāo)簽體系設(shè)計完成后，便進入標(biāo)簽加工與上線運行階段，一般來說數(shù)據(jù)開發(fā)團隊會主導(dǎo)此過程，但我們需要關(guān)心以下幾個問題：?標(biāo)簽如何快速創(chuàng)建和實現(xiàn)標(biāo)簽邏輯的在線化管理?業(yè)務(wù)人員怎么參與到標(biāo)簽建設(shè)流程中?百萬級別的標(biāo)簽如何落表一、加工方式：傳統(tǒng) VS 在線當(dāng)企業(yè)無標(biāo)簽系統(tǒng)時，一般由數(shù)據(jù)開發(fā)在離線數(shù)倉中完成標(biāo)簽的加工和運行，運營或市場同學(xué)需要某個

2022-09-08 16:39:42

數(shù)據(jù)sql hive

Spark面試題——Spark容錯機制

問過的一些公司：頭條，字節(jié)，阿里 x 3，騰訊，競技世界參考答案：1、容錯方式容錯指的是一個系統(tǒng)在部分模塊出現(xiàn)故障時還能否持續(xù)的對外提供服務(wù)，一個高可用的系統(tǒng)應(yīng)該具有很高的容錯性；對于一個大的集群系統(tǒng)來說，機器故障、網(wǎng)絡(luò)異常等都是很常見的，Spark這樣的大型分布式計算集群提供了很多的容錯機制來提高整個系統(tǒng)的可用性。一般來說，分布式數(shù)據(jù)集的容錯性有兩種方式：數(shù)據(jù)檢查點和記錄數(shù)據(jù)的更新。面向大規(guī)模

2022-09-04 09:33:19

大數(shù)據(jù)大數(shù)據(jù)開發(fā)面試題

Hadoop總結(jié)

一、Hadoop是什么？Hadoop是一個Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。在工業(yè)界，Hadoop已經(jīng)是公認的大數(shù)據(jù)通用存儲和分析平臺，它實現(xiàn)了分布式文件系統(tǒng)HDFS（?Hadoop Distributed File System）、分布式運行程序編程框架MapReduce以及資源管理系統(tǒng)YARN（ Yet Another Resource Negotiator），其中HDF

2022-09-02 20:13:59

mapreduce hadoop 大數(shù)據(jù)

（1）sparkstreaming結(jié)合sparksql讀取socket實時數(shù)據(jù)流

Spark Streaming是構(gòu)建在Spark Core的RDD基礎(chǔ)之上的，與此同時Spark Streaming引入了一個新的概念：DStream（Discretized Stream，離散化數(shù)據(jù)流)，表示連續(xù)不斷的數(shù)據(jù)流。DStream抽象是Spark Streaming的流處理模型，在內(nèi)部實現(xiàn)上，Spark Streaming會對輸入數(shù)據(jù)按照時間間隔（如1秒）分段，每一段數(shù)據(jù)轉(zhuǎn)換為Spar

2022-08-31 11:56:08

spark java spark sql

docker下的spark集群，調(diào)整參數(shù)榨干硬件

調(diào)整docker-compose編排的參數(shù)，充分發(fā)揮硬件信息能運行spark集群

2022-08-20 00:04:03

hadoop spark docker

spark實戰(zhàn)之：分析維基百科網(wǎng)站統(tǒng)計數(shù)據(jù)(java版)

在《尋找海量數(shù)據(jù)集用于大數(shù)據(jù)開發(fā)實戰(zhàn)(維基百科網(wǎng)站統(tǒng)計數(shù)據(jù))》一文中，我們了解了如何獲取維基百科網(wǎng)站的網(wǎng)頁點擊量統(tǒng)計數(shù)據(jù)，并且介紹了數(shù)據(jù)格式的基本內(nèi)容，本文以這些數(shù)據(jù)進行實戰(zhàn)，練習(xí)基本的spark開發(fā)

2022-08-19 00:08:03

spark hadoop java

docker下，極速搭建spark集群(含hdfs集群)

搭建spark和hdfs的集群環(huán)境會消耗一些時間和精力，今天咱們就借助docker，極速搭建和體驗spark和hdfs的集群環(huán)境

2022-08-17 00:04:38

spark docker hdfs

第一個spark應(yīng)用開發(fā)詳解(java版)

java版的spark應(yīng)用開發(fā)

2022-08-12 07:13:26

spark java hdfs

領(lǐng)域驅(qū)動設(shè)計系列貧血模型和充血模型

使用領(lǐng)域驅(qū)動設(shè)計至少會帶來下述優(yōu)點：業(yè)務(wù)邏輯被合理的分散到不同的領(lǐng)域?qū)ο笾校a結(jié)構(gòu)更加清晰，可讀性，可維護性更高；對象職責(zé)更加單一，內(nèi)聚度更高；復(fù)雜的業(yè)務(wù)模型可以通過領(lǐng)域建模（UML是一種主要方式）清晰的表達，開發(fā)人員甚至可以在不讀源碼的情況下就能了解業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)，這有利于對現(xiàn)存的系統(tǒng)進行維護和迭代開發(fā)；系統(tǒng)高度模塊化，代碼重用度高，不會出現(xiàn)太多的重復(fù)邏輯。

2022-08-08 13:49:11

事件流 java 迭代

MMA安裝及使用優(yōu)化

公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要遷移數(shù)據(jù)到新環(huán)境中，阿里提供眾多的遷移方案，在經(jīng)過我們的實踐后，最終選擇了MMA，遷移數(shù)據(jù)Hive到Maxcompute。

2022-08-03 13:41:40

hive hdfs 數(shù)據(jù)遷移

一文看懂大數(shù)據(jù)生態(tài)圈完整知識體系【大數(shù)據(jù)技術(shù)及架構(gòu)圖解實戰(zhàn)派】

一文看懂大數(shù)據(jù)生態(tài)圈完整知識體系徐葳隨著大數(shù)據(jù)行業(yè)的發(fā)展，大數(shù)據(jù)生態(tài)圈中相關(guān)的技術(shù)也在一直迭代進步，作者有幸親身經(jīng)歷了國內(nèi)大數(shù)據(jù)行業(yè)從零到一的發(fā)展歷程，通過本文希望能夠幫助大家快速構(gòu)建大數(shù)據(jù)生態(tài)圈完整知識體系。目前大數(shù)據(jù)生態(tài)圈中的核心技術(shù)總結(jié)下來如圖1所示，分為以下9類，下面分別介紹。圖1 一、數(shù)據(jù)采集技術(shù)框架數(shù)據(jù)采集也被稱為數(shù)據(jù)同步。隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的興起，產(chǎn)生了海

2022-08-03 11:28:08

數(shù)據(jù)大數(shù)據(jù)技術(shù)框架

推薦系統(tǒng)-協(xié)同過濾在Spark中的實現(xiàn)

本文以經(jīng)典的協(xié)同過濾為切入點，重點介紹了被工業(yè)界廣泛使用的矩陣分解算法，從理論與實踐兩個維度介紹了該算法的原理，通俗易懂，希望能夠給大家?guī)硪恍﹩l(fā)。

2022-07-25 09:33:44

spark 協(xié)同過濾推薦系統(tǒng)

大數(shù)據(jù)Hadoop之——任務(wù)調(diào)度器Oozie（Oozie環(huán)境部署）

Oozie是一個基于工作流引擎的開源框架，依賴于MapReduce來實現(xiàn)，是一個管理 Apache Hadoop 作業(yè)的工作流調(diào)度系統(tǒng)。是由Cloudera公司貢獻給Apache的，它能夠提供對Hadoop MapReduce和Pig Jobs的任務(wù)調(diào)度與協(xié)調(diào)。Oozie需要部署到Java Servlet容器中運行。

2022-07-16 19:01:00

大數(shù)據(jù)Oozie

大數(shù)據(jù)Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2環(huán)境部署）

在眾多 Hadoop 版本中， CDH（Cloudera Hadoop）是 Hadoop 眾多分支中比較出色的版本，它由Cloudera 發(fā)行和維護。CDH 基于 Apache 的 Hadoop 進行重新構(gòu)建，提供了基于 Web 頁面的群集部署和管理操作。Hadoop發(fā)行版除了社區(qū)的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、華為等都提供自己的商業(yè)版本。

2022-07-08 23:38:26

hadoop CDH 大數(shù)據(jù)

基于Spark+Grafana可視化電商項目實戰(zhàn)，好文收藏~

原創(chuàng)肝文！基于Spark+Grafana可視化電商項目實戰(zhàn)

2022-05-25 14:30:24

spark sql 數(shù)據(jù)分析

1 2 3 4 5 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

亚洲精品一区二区三区四区| 日本成人在线免费| 国产鲁鲁视频在线观看免费| 免费一区视频| 亚洲另类图片色| 国产偷人视频免费| 尤物网在线观看| 国产风韵犹存在线视精品| 色综合男人天堂| 中文在线永久免费观看| 三上悠亚亚洲一区| 国产三级精品三级| 亚洲va欧美va国产综合久久| 天堂资源在线播放| 亚洲自拍都市欧美小说| 欧美日韩精品电影| 久久精品—区二区三区舞蹈| 你懂的在线视频| 日韩成人午夜电影| 日韩亚洲在线观看| 国产一级黄色av| 日本精品一区二区三区在线观看视频| 国产成人在线网站| 欧美久久高跟鞋激| 亚洲天堂第一区| 天堂网av在线播放| 麻豆国产欧美一区二区三区| 久久国内精品一国内精品| zjzjzjzjzj亚洲女人| 久久精品—区二区三区舞蹈| 日本午夜精品久久久久| 亚洲一级二级三级| 亚洲成人自拍| 午夜视频在线免费播放| 久久av中文字幕片| 国产欧美视频一区二区| 日韩免费在线视频| 欧美激情国产精品免费| 国产一级成人av| 欧美色成人综合| 国产精品久久久久久久久电影网| 黄色av免费在线观看| 国产激情视频一区二区三区欧美| 国产成人综合精品在线| 久久精品欧美一区二区| 99久久婷婷这里只有精品| 亚洲男子天堂网| 中文在线字幕观看| 欧美综合影院| 色婷婷国产精品| 夜夜春亚洲嫩草影视日日摸夜夜添夜| 无码国产伦一区二区三区视频| 美国毛片一区二区三区| 日本一欧美一欧美一亚洲视频| 免费成人深夜夜行网站| 精品视频黄色| 精品亚洲一区二区三区| 美女黄色一级视频| 天堂久久av| 欧美一区二区在线看| 手机在线免费观看毛片| 中老年在线免费视频| 午夜天堂影视香蕉久久| 一区二区三区一级片| 午夜老司机在线观看| 国产偷国产偷亚洲高清人白洁| 精品乱子伦一区二区三区| 性一交一乱一乱一视频| 久久99久久99| 国产主播在线一区| 国产一区二区在线不卡| 久久精品久久99精品久久| 国产精品久久av| 成人毛片一区二区三区| 久久久久久网| 午夜精品福利在线观看| 日韩精品国产一区二区| 亚洲第一黄网| 欧美亚洲第一页| 六月丁香激情综合| 91久久久久| 97精品国产aⅴ7777| 国产成人在线免费观看视频| 国产日韩1区| 日本精品一区二区三区在线| 无码视频在线观看| 看片网站欧美日韩| 亚洲自拍高清视频网站| 亚洲国产成人在线观看| caoporm超碰国产精品| 久久久久se| 国产最新视频在线观看| 国产精品欧美一区喷水| 女同性恋一区二区| 激情网站在线| 亚洲成年人网站在线观看| 国产91xxx| 国产日韩欧美一区| 欧美日韩激情一区二区| 韩国黄色一级片| 日韩高清一级| 亚洲美女动态图120秒| 国产毛片欧美毛片久久久| 国产精品麻豆久久| 97在线视频免费观看| 久久影视中文字幕| 国产一本一道久久香蕉| 国产伦精品一区二区三| 黄色国产在线| 亚洲精品福利视频网站| 国产69精品久久久久久久| 久久影院午夜精品| 91精品国产色综合久久久蜜香臀| 97人妻精品一区二区三区免 | 性鲍视频在线观看| 亚洲欧美成人vr| 久久91精品国产91久久跳| 国产成人无码专区| 99久久精品情趣| 中国老女人av| 成人国产一区| 精品网站999www| 日韩女优一区二区| 久久91精品国产91久久小草| 欧美日韩中文国产一区发布| 日本大片在线播放| 欧美乱熟臀69xxxxxx| 香蕉网在线播放| 亚洲二区精品| 亚洲自拍小视频免费观看| 99re在线视频| 色诱亚洲精品久久久久久| 人妻av一区二区三区| 久久久久免费av| 国产精品色婷婷视频| 毛片免费在线观看| 亚洲v精品v日韩v欧美v专区 | 97久久人人超碰| 久久久久久av无码免费网站下载| 欧美视频免费看| 在线观看日韩av| 波多野结衣小视频| 国产欧美精品一区aⅴ影院| 国产精品无码一区二区在线| 国产一区二区在线视频你懂的| 免费91麻豆精品国产自产在线观看| 中文字幕久久网| 久久九九久久九九| 国产一级片黄色| 欧美精品一区二区三区中文字幕| 日本一区二区不卡| 电影av一区| 欧美制服丝袜第一页| 国产人妻大战黑人20p| 视频一区二区三区在线| 日韩精品大片| 欧美与亚洲与日本直播| 中文字幕一区电影| 国产精品亚洲欧美在线播放| 亚洲欧美综合色| 手机看片国产精品| 在线日韩电影| 欧美高清一区二区| 国产精品亚洲d| 久久国内精品一国内精品| 国产aⅴ爽av久久久久成人| 亚洲男人的天堂在线aⅴ视频| 日本一二三区在线| 亚洲国产激情| 女人一区二区三区| 成人午夜毛片| 欧美成人第一页| 国产91久久久| 日本韩国一区二区| 久久噜噜色综合一区二区| 国产一区二区三区黄视频| 日韩欧美猛交xxxxx无码| 欧美xxxx在线| 国产精品久久久久久久久男| 日本最黄一级片免费在线| 欧美一卡2卡三卡4卡5免费| 日韩高清精品免费观看| 欧美国产精品一区二区三区| 在线一区二区不卡| 一区三区视频| 日韩在线三区| 亚洲电影一区| 国产91精品在线播放| 蜜桃av在线免费观看| 亚洲第一免费播放区| 亚洲精品成人在线视频| 中文字幕视频一区| 日韩久久久久久久久久久| 精品av久久久久电影| 欧洲亚洲一区二区三区四区五区| 在线观看亚洲精品福利片| 久久免费成人精品视频| 风间由美一区| 日韩精品影音先锋| 天堂av免费在线观看| 夜夜亚洲天天久久| 五月婷婷欧美激情| 成人黄色国产精品网站大全在线免费观看 | 亚洲一区二区欧美激情| a级大片在线观看| 国产精品69久久久久水密桃| 日本www高清视频| 黄色亚洲在线| 亚洲一卡二卡| 亚洲精品合集| 成人av播放| 日本免费成人| 国产精品久久久久秋霞鲁丝| www欧美xxxx| 久久精品国产久精国产一老狼| 天堂av手机版| 日韩欧美在线观看一区二区三区| aaa在线视频| 欧美日韩激情视频| 欧美色图亚洲天堂| 国产精品成人免费在线| 伊人网伊人影院| av福利精品导航| 久久久精品人妻一区二区三区| 美女mm1313爽爽久久久蜜臀| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 狠狠色狠狠色综合日日tαg| 国产精品jizz在线观看老狼| 欧美理论电影大全| 久久大片网站| 欧美jizz19性欧美| 国产一区免费| 成人另类视频| 成人看片在线| 欧美电影院免费观看| 成人淫片在线看| 亚洲欧洲一二区| 国产日韩欧美影视| 人人玩人人添人人澡欧美| 国产精品国产亚洲伊人久久| 欧美黑人粗大| 国产精品爱啪在线线免费观看| 国偷自产一区二区免费视频| 欧美专区在线视频| 天堂а√在线最新版中文在线| 久久久在线视频| 黄视频免费在线看| 欧美人交a欧美精品| 中文字幕在线观看网站| 久久成人免费视频| 18网站在线观看| 欧美国产日产韩国视频| 欧美78videosex性欧美| 九九九久久久久久| 精灵使的剑舞无删减版在线观看| 欧美极品少妇与黑人| 岛国片av在线| 26uuu亚洲国产精品| 成人性生活视频| 国产精品久久久精品| 国产成人午夜性a一级毛片| 国产精品午夜一区二区欲梦| 久久人体av| 亚洲在线第一页| 国产精品午夜av| 欧美精品国产精品久久久| 免费精品国产| 一区二区不卡在线观看| 国内综合精品午夜久久资源| 国产美女主播在线播放| 国产一区二区精品| 艹b视频在线观看| 国产一区二区三区在线观看免费 | 一二三区免费视频| 欧美亚洲一区二区在线| 99精品人妻无码专区在线视频区| 欧美哺乳videos| 污污网站在线免费观看| 在线看日韩欧美| 午夜dj在线观看高清视频完整版| 97精品免费视频| 免费在线成人激情电影| 97欧洲一区二区精品免费| 日韩欧美中文字幕电影| 午夜免费电影一区在线观看| 欧美日韩国内| 欧美成人免费高清视频| 国产一区二区精品久久| 97人妻天天摸天天爽天天| 国产精品乱码人人做人人爱| 久久黄色小视频| 欧美在线观看18| 性生交大片免费看女人按摩| 国产一区av在线| 狂野欧美激情性xxxx欧美| 国产精品久久久久aaaa九色| 中文字幕久久精品一区二区| 日本精品免费| 精品成人国产| 欧美性受xxxxxx黑人xyx性爽| www.色综合.com| frxxee中国xxx麻豆hd| 欧美日韩国产麻豆| 99久久亚洲精品日本无码 | 91精品天堂| 精品久久久久久久| 男女啪啪免费视频网站| 国产一区二区h| 国产在线观看h| 亚洲福利视频一区| 国产精品国产一区二区三区四区 | 99久久人妻无码中文字幕系列| 国产精品久久看| 六月丁香激情综合| 亚洲精品一区二区三区在线观看 | 久久久视频在线| 日韩午夜电影免费看| 欧美高清视频一区| 99国产精品| 国产一级二级av| 国产精品热久久久久夜色精品三区 | 久久久影院免费| www.com毛片| 成人av网站大全| 黑人巨大精品一区二区在线| 欧美视频日韩视频| 激情综合闲人网| 欧美性视频在线| 美女主播精品视频一二三四| 永久免费看av| 黄色小说综合网站| 黑人狂躁日本娇小| 欧美日韩高清影院| jizz在线观看中文| 国产精品27p| 欧美猛男男男激情videos| 妞干网在线视频观看| 国产iv一区二区三区| 2018天天弄| 欧美一区二区久久久| 伦xxxx在线| 国产日本欧美视频| 欧美xxxx中国| 成人不卡免费视频| 亚洲男同性视频| 性网爆门事件集合av| 久久99精品视频一区97| 欧美电影在线观看一区| 成年人视频网站免费| 粉嫩aⅴ一区二区三区四区| 久久亚洲AV无码| 欧美mv日韩mv国产网站app| 草草影院在线| 久久99精品久久久久久久久久| 一本色道88久久加勒比精品| 亚洲av无码成人精品国产| 精品久久香蕉国产线看观看亚洲| 亚洲三区在线播放| 青青青国产精品一区二区| 九九精品在线| 亚洲另类第一页| 亚洲色图在线播放| www.天天干.com| 国模叶桐国产精品一区| 综合亚洲自拍| 亚洲娇小娇小娇小| 亚洲人吸女人奶水| 亚洲毛片在线播放| 日本成人黄色片| 欧美好骚综合网| 无码人妻一区二区三区在线视频| 亚洲国产aⅴ天堂久久| 青青青草网站免费视频在线观看| 国产成人福利视频| 亚洲精品2区| 精品1卡二卡三卡四卡老狼| 欧美日韩一区二区三区在线免费观看 | 久操视频免费在线观看| 亚洲第一在线视频| 国产成人精品123区免费视频| 亚洲一区3d动漫同人无遮挡 | 99re在线观看视频| 亚洲中午字幕| av最新在线观看| 亚洲第一网站免费视频| 视频在线日韩| 欧美日韩福利在线| 国产精品乱码久久久久久 | 亚洲性生活视频| 国产精品久久免费视频 | 美女视频网站久久| 久久久久成人网站| 亚洲一区av在线播放| 国产精品一区二区精品视频观看| 女人天堂av手机在线| ...xxx性欧美| 欧美男男同志| 岛国视频一区免费观看| 另类的小说在线视频另类成人小视频在线 | 欧美一区二区.|