精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認(rèn)證

公眾號矩陣

移動端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

大數(shù)據(jù)

9381內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領(lǐng)域。

文章博文帖子課程

共 225 條

0005 - Hadoop-Shell命令指南大全

大數(shù)據(jù)夢工廠（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令簡介bash適用于任何文件系統(tǒng)hadoopfs<args只能用于HDFS分布式文件系統(tǒng)hadoopdfs<args（推薦）和上面的命令作用相同，當(dāng)使用hadoopdfs時內(nèi)部會被轉(zhuǎn)為hdfsdfs命令hdfsdf

2021-09-06 22:06:04

Spark的兩種核心Shuffle詳解

在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋梁， Map 階段通過 Shuffle 過程將數(shù)據(jù)輸出到 Reduce 階段中。由于 Shuffle 涉及磁盤的讀寫和網(wǎng)絡(luò) I/O，因此 Shuffle 性能的高低直接影響整個程序的性能。 Spark 也有 Map 階段和 Reduce 階段，因此也會出現(xiàn) Shuffle 。文章都會首發(fā)在公眾號【五

2021-09-05 10:53:34

0004 - DataNode工作機(jī)制解析

大數(shù)據(jù)夢工廠（0004DataNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每個節(jié)點(diǎn)部署一個，用于存儲數(shù)據(jù)，負(fù)責(zé)提供客戶端的讀寫請求，并且根據(jù)NameNode的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除、追加和復(fù)制等操作。DataNode三大功能：負(fù)責(zé)管理所在節(jié)點(diǎn)上存儲數(shù)據(jù)的讀寫，及存儲每個文件的數(shù)據(jù)

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，機(jī)架感知策略、寫數(shù)據(jù)流程、降副本后刪除冗余數(shù)據(jù)時間和心跳機(jī)制

2021-09-04 22:58:07

機(jī)架感知策略 Hadoop寫數(shù)據(jù)流程降副本后刪除冗余數(shù)據(jù)時

0003 - NameNode工作機(jī)制解析

大數(shù)據(jù)夢工廠（0003NameNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服務(wù)，它管理和維護(hù)著整個HDFS分布式文件系統(tǒng)，主要有以下作用：負(fù)責(zé)接收客戶端的操作請求；負(fù)責(zé)管理文件系統(tǒng)命名空間（NameSpace）、集群配置信息及存儲塊的復(fù)制等；負(fù)責(zé)文件目錄樹的維護(hù)以及文件對應(yīng)Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一組可擴(kuò)展和可擴(kuò)展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效地滿足Hadoop中的合規(guī)性要求，并允許與整個企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。 Apache Atlas為組織提供了開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對這些資產(chǎn)進(jìn)行分類和治理，并為數(shù)據(jù)科學(xué)家，分析師和數(shù)據(jù)治理團(tuán)隊(duì)提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。如果沒有Atlas大數(shù)據(jù)表依賴問題不好解決，元數(shù)據(jù)管理需要自

2021-08-21 15:46:53

大數(shù)據(jù)—— YARN

源碼見：https://github.com/hiszm/hadooptrainYARN產(chǎn)生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群資源管理系統(tǒng)。用戶可以將各種服務(wù)框架部署在YARN上，由YARN進(jìn)行統(tǒng)一地管理和資源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#導(dǎo)入MD文檔圖片#學(xué)完大數(shù)據(jù),來測測你大數(shù)據(jù)技術(shù)掌握程度?

問題1：Rowkey如何設(shè)計，設(shè)計規(guī)則是什么？ - 業(yè)務(wù)原則：貼合業(yè)務(wù)，保證前綴是最常用的查詢字段 - 唯一原則：每條rowkey唯一表示一條數(shù)據(jù) - 組合原則：常用的查詢條件組合作為Rowkey - 散列原則：rowkey構(gòu)建不能連續(xù) - 長度原則：滿足業(yè)務(wù)需求越短越好

2021-08-07 11:27:18

大數(shù)據(jù)面試題

CDH6.3.0上配置各種對象存儲

cm-hdfs: ufile: 還需添加jar包 ? ? S3:是自帶jar包 ? ? OSS: CDH6不需要下載包, CDH5需要 core-site.xml 的群集范圍高級配置代碼段（安全閥） ? ? ? ? fs.oss.endpoint oss-eu-west-1.aliyuncs.com? ? ? ? ? ? ? #oss的外網(wǎng)地址fs.oss.accessKeyId?fs.

2021-07-27 17:54:03

Hadoop基礎(chǔ)-12-Hive

源碼見：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ? data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

數(shù)據(jù)庫大數(shù)據(jù)hadoop

用戶路徑分析之利器“?；鶊D”

本文帶你走一遭，講講?；鶊D的前世今生，?；鶊D在互聯(lián)網(wǎng)產(chǎn)品分析領(lǐng)域的應(yīng)用，以及如何用python將一個常見埋點(diǎn)數(shù)據(jù)CSV文件做出漂亮的?；鶊D。

2021-07-10 21:36:04

大數(shù)據(jù)

Hadoop 官方WordCount案例帶你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超級經(jīng)典的SQL練習(xí)題（MySQL版本），你還怕SQL不過關(guān)嗎？

微信搜索公眾號【C you again】，回復(fù)“SQL”下載無水印PDF版本，方便收藏 ## 1 數(shù)據(jù)表 #### 1.1 學(xué)生表 Student（SId，Sname，Sage，Ssex） > SId 學(xué)生編號，Sname 學(xué)生姓名，Sage 出生年月，Ssex 學(xué)生性別 #### 1.2 課程表 Course（CId，Cname，TId） > CId 課程編號，Cname 課程名稱，

2021-07-09 13:36:50

面試系列五之項(xiàng)目涉及技術(shù)Spark

面試系列五之項(xiàng)目涉及技術(shù)Spark

2021-06-21 21:49:44

Note_Spark_Day02：Spark 基礎(chǔ)環(huán)境

Spark Day02：Spark 基礎(chǔ)環(huán)境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次課程內(nèi)容回顧主要講解2個方面的內(nèi)容：Spark 框架概述和

2021-06-21 10:36:31

Spark RDD算子進(jìn)階（轉(zhuǎn)換算子、行動算子、緩存、持久化）

0x00 教程內(nèi)容0x01 進(jìn)階算子操作1. 創(chuàng)建RDD2. 轉(zhuǎn)換算子3. 行動算子0x02 RDD的緩存與持久化1. 緩存與持久化的意義2. 緩存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

帶你深入淺出，徹底了解什么是Spark？

????????大數(shù)據(jù)專業(yè)，或者人工智能，深度學(xué)習(xí)方向的小伙伴們一定對Spark這個名詞不陌生吧~不認(rèn)識也沒有關(guān)系，今天Alice為大家?guī)黻P(guān)于Spark的一個詳細(xì)介紹。文章目錄激動人心的Spark發(fā)展史Spark為什么流行？1：優(yōu)秀的數(shù)據(jù)模型和計算抽象2：完善的生態(tài)圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)面試殺招——Spark高頻考點(diǎn)，必知必會!

關(guān)于大數(shù)據(jù)面試中Spark的高頻考點(diǎn)，快來學(xué)習(xí)!

2021-06-01 17:20:31

flume的集群部署與測試

flume的集群部署標(biāo)簽（空格分隔）：協(xié)作框架[toc]##一：flume介紹：1.1flume的介紹Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。當(dāng)前Flume有兩個版本Flume0.9X版本的統(tǒng)稱Flume

2021-05-26 16:30:24

數(shù)棧技術(shù)分享：一文帶你了解Flink jm、tm啟動過程和資源分配

一、JM啟動過程1、從日志角度分析啟動流程1）client生成jobGraph詳情請參考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到請求(和yarn交互不重點(diǎn)分析)3）在被分配的節(jié)點(diǎn)上的工作目錄下啟動launch_container.sh4）在perJob模式下，最終調(diào)用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大數(shù)據(jù)開源項(xiàng)目

如何監(jiān)控Azure Databricks集群資源使用率

Azure Databricks可以監(jiān)控嗎？如何監(jiān)控Azure Databricks呢？這篇文章給你答案！

2021-05-21 15:19:58

Azure Datab Databricks 監(jiān)控

網(wǎng)易Spark Kyuubi核心架構(gòu)設(shè)計與源碼實(shí)現(xiàn)剖析

本文較為系統(tǒng)、全面并且由淺入深地介紹了網(wǎng)易Spark Kyuubi出現(xiàn)的背景、核心架構(gòu)設(shè)計與關(guān)鍵源碼實(shí)現(xiàn)，是學(xué)習(xí)、應(yīng)用和對Kyuubi進(jìn)行二次開發(fā)不可多得的技術(shù)干貨。

2021-05-17 03:41:26

大數(shù)據(jù)Spark Kyuubi

prometheus+ Grafana監(jiān)控全家桶

普羅米修斯監(jiān)控操作系統(tǒng)，elasticsearch、kafka、flink

2021-05-13 10:04:17

普羅米修斯監(jiān)控es prometheus prometheus

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：hadoopHDFSHA與yarnHA的概述二：部署環(huán)境概述三：部署zookeeper四：部署HDFSHA與yarnHA五：關(guān)于HA的測試一：hadoopHDFSHA與yarnHA的概述1.1HA的概述HA概述1）所謂HA（HighAvailable），即高可用（7*24小時不中斷服務(wù)）。2）實(shí)現(xiàn)高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

實(shí)時計算框架：Flink集群搭建與運(yùn)行機(jī)制

Flink是一個框架和分布式處理引擎，用于對無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計算。Flink被設(shè)計在所有常見的集群環(huán)境中運(yùn)行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計算。主要特性包括：批流一體化、精密的狀態(tài)管理、事件時間支持以及精確一次的狀態(tài)一致性保障等。Flink不僅可以運(yùn)行在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機(jī)集群上獨(dú)立部署。在啟用高可用選項(xiàng)的情況下，它不存在單點(diǎn)失效問題。

2021-05-09 19:33:48

Flink Spark 大數(shù)據(jù)

實(shí)時計算框架：Spark集群搭建與入門案例

Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的，基于內(nèi)存快速通用,可擴(kuò)展的集群計算引擎，實(shí)現(xiàn)了高效的DAG執(zhí)行引擎,可以通過基于內(nèi)存來高效處理數(shù)據(jù)流，運(yùn)算速度相比于MapReduce得到了顯著的提高。

2021-04-26 08:32:07

Spark 大數(shù)據(jù)實(shí)時計算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit類圖分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

OLAP引擎：基于Druid組件進(jìn)行數(shù)據(jù)統(tǒng)計分析

與現(xiàn)在相對熱門的Clickhouse引擎相比，Druid對高并發(fā)的支持相對較好和穩(wěn)定，但是Clickhouse在任務(wù)隊(duì)列模式中的數(shù)據(jù)查詢能力十分出色，但是對高并發(fā)支持不夠友好，需要做好很多服務(wù)監(jiān)控和預(yù)警。大數(shù)據(jù)組件中OLAP引擎的選型有很多，在數(shù)據(jù)的查詢引擎層通常都具有兩種或者以上的OLAP引擎，選擇合適的組件解決業(yè)務(wù)需求是優(yōu)先原則。

2021-04-05 11:09:29

Druid OLAP 大數(shù)據(jù)

數(shù)據(jù)調(diào)度組件：基于Azkaban協(xié)調(diào)時序任務(wù)執(zhí)行

Azkaban是由Linkedin公司推出的可以管理批量工作流任務(wù)的調(diào)度器，用于在一個工作流內(nèi)以一個特定的順序運(yùn)行一組工作和流程。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個易于使用的web用戶界面維護(hù)和跟蹤你的工作流。

2021-03-30 08:26:23

Azkaban 大數(shù)據(jù)任務(wù)調(diào)度

Spark性能調(diào)優(yōu)-Shuffle調(diào)優(yōu)及故障排除篇

Spark調(diào)優(yōu)之Shuffle調(diào)優(yōu)本節(jié)開始先講解Shuffle核心概念；然后針對HashShuffle、SortShuffle進(jìn)行調(diào)優(yōu)；接下來對map端、reduce端調(diào)優(yōu)；再針對Spark中的數(shù)據(jù)傾斜問題進(jìn)行剖析及調(diào)優(yōu)；最后是Spark運(yùn)行過程中的故障排除。本文首發(fā)于公眾號【五分鐘學(xué)大數(shù)據(jù)】，本公號專注于大數(shù)據(jù)技術(shù)，分享高質(zhì)量大數(shù)據(jù)原創(chuàng)技術(shù)文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大數(shù)據(jù)spark

Spark性能調(diào)優(yōu)-RDD算子調(diào)優(yōu)篇（深度好文，面試常問，建議收藏）

Spark調(diào)優(yōu)之RDD算子調(diào)優(yōu)不廢話，直接進(jìn)入正題！1. RDD復(fù)用在對RDD進(jìn)行算子時，要避免相同的算子和計算邏輯之下對RDD進(jìn)行重復(fù)的計算，如下圖所示：RDD的重復(fù)計算對上圖中的RDD計算架構(gòu)進(jìn)行修改，得到如下圖所示的優(yōu)化結(jié)果：RDD架構(gòu)優(yōu)化2. 盡早filter獲取到初始RDD后，應(yīng)該考慮盡早地過濾掉不需要的數(shù)據(jù)，進(jìn)而減少對內(nèi)存的占用，從而提升Spark作業(yè)的運(yùn)行效率。本文首發(fā)于公眾號：五分

2021-03-06 09:43:48

大數(shù)據(jù)spark 大數(shù)據(jù)面試

Flink實(shí)戰(zhàn)，APP推廣情況分析

接著https://blog.51cto.com/mapengfei/2581240這里用Flink來實(shí)現(xiàn)對APP在每個渠道的推廣情況包括下載、查看、卸載等等行為的分析因?yàn)橹暗奈恼露际怯胹cala寫的，這篇用java來實(shí)現(xiàn)一波，分別演示下用aggregate聚合方式和process方式的實(shí)現(xiàn)和效果整體思路1、準(zhǔn)備好數(shù)據(jù)源：這里用SimulatedSource來自己隨機(jī)造一批數(shù)據(jù)2、準(zhǔn)備數(shù)據(jù)輸入樣

2021-01-10 21:13:17

flink APP統(tǒng)計 flink java

Flink實(shí)戰(zhàn)，實(shí)時流量統(tǒng)計 TOPN訪問URL

跟https://blog.51cto.com/mapengfei/2580330類似場景，來從Nginx、Apache等web服務(wù)器的日志中讀取數(shù)據(jù)，實(shí)時統(tǒng)計出來訪問熱度最高的TOPN訪問URL，并且要確保數(shù)據(jù)亂序的處理，lag等情況下，還要確認(rèn)數(shù)據(jù)的準(zhǔn)確性目標(biāo)：從log文件中讀取數(shù)據(jù)（也可以參考上一篇從kakfa中），取http的method為get的請求，并且把靜態(tài)文件訪問過濾掉，進(jìn)行實(shí)時統(tǒng)

2021-01-03 17:09:18

flink統(tǒng)計熱門ur 實(shí)時流量統(tǒng)計

記錄一次事故處理50%kudu表無法進(jìn)行正常訪問

記錄一次事故處理50%kudu表無法進(jìn)行正常訪問測試環(huán)境kudu集群事故，影響：測試效果，測試進(jìn)度，生產(chǎn)發(fā)布延遲，需警惕，特此寫出過程操作需謹(jǐn)慎！操作需謹(jǐn)慎！操作需謹(jǐn)慎！任務(wù)環(huán)境都要以生產(chǎn)環(huán)境而對待！事故原因：昨天于上午10點(diǎn)，業(yè)務(wù)說kudu表無法使用后，影響測試，無法正常發(fā)布。去scm平臺發(fā)現(xiàn)kudu_tablet掛了5臺運(yùn)維查看信息日志后，做近一步處理1.重啟kudu—tablet發(fā)現(xiàn)無法啟動

2020-12-21 15:27:43

kudu表無法訪問 kudu規(guī)范 kudu_tablet

prometheus + grafana 對flink 進(jìn)行監(jiān)控

prometheus+grafana對flink進(jìn)行監(jiān)控標(biāo)簽（空格分隔）：flink系列一：flink監(jiān)控簡介二：Flink的Metric架構(gòu)三：prometheus+grafana的對flink的監(jiān)控部署構(gòu)建一：flink監(jiān)控簡介1.1前言Flink提供的Metrics可以在Flink內(nèi)部收集一些指標(biāo)，通過這些指標(biāo)讓開發(fā)人員更好地理解作業(yè)或集群的狀態(tài)。由于集群運(yùn)行后很難發(fā)現(xiàn)內(nèi)部的實(shí)際狀況，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：系統(tǒng)環(huán)境二：CDH6.3.2集成freeipa的Kerberos一：系統(tǒng)環(huán)境1.2系統(tǒng)配置要求大數(shù)據(jù)的所有主機(jī)注入到FreeIPA當(dāng)中cdh最低版本為CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

Flink從入門到真香(16、Flink內(nèi)置的一些Process Function)

之前的轉(zhuǎn)換算子是無法訪問事件的時間戳信息和水位線信息的，而這在一些應(yīng)用場景下，極為重要。例如MapFunction這樣子的map轉(zhuǎn)換算子就無法訪問時間戳或者當(dāng)前事件的事件事件?；诖?，DataStreamAPI提供了一系列LOW-LEVEL的轉(zhuǎn)換算子調(diào)用?？梢栽L問時間戳，watermark以及注冊定時事件，還可以輸出特定的一些事件，例如超時時間等。processfunction用來構(gòu)建事件驅(qū)動的應(yīng)

2020-11-25 21:54:42

Flink check checkpoint 狀態(tài)后端

將大數(shù)據(jù)學(xué)習(xí)門檻降到了地平線

可能是Hadoop hdfs mapreduce最親民的介紹

2020-10-29 21:14:14

hadoop hdfs mapreduce

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH運(yùn)維 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS產(chǎn)出背景及定義隨著數(shù)據(jù)量越來越大，在一個操作系統(tǒng)存不下所有的數(shù)據(jù)，那么就分配到更多的操作系統(tǒng)管理的磁盤中，但是不方便管理和維護(hù)，迫切需要一種系統(tǒng)來管理多臺機(jī)器上的文件，這就是分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。HDFS（HadoopDistributedFileSystem），它是一個文件系統(tǒng)，用于存儲文件，通過目錄樹來定位文件；其次，它是分布式

2019-09-07 00:55:36

生產(chǎn)SparkStreaming數(shù)據(jù)零丟失最佳實(shí)踐(含代碼)

生產(chǎn)上保證數(shù)據(jù)零丟失(斷批還原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive實(shí)戰(zhàn)案例與常見問題解決

Spark on Yarn with Hive實(shí)戰(zhàn)案例與常見問題解決

2018-10-09 11:14:27

Spark Yarn Hive

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

2018-04-08 22:36:04

大數(shù)據(jù)Hadoop MapReduce

詳解Linux運(yùn)維工程師高級篇（大數(shù)據(jù)安全方向）

詳解linux運(yùn)維工程師高級篇（大數(shù)據(jù)安全方向）

2018-02-07 18:57:15

大數(shù)據(jù)安全 kerberos

Hadoop運(yùn)維記錄系列(二十一)

Zeppelin啟用https過程和Hack內(nèi)核以滿足客戶需求的記錄。原因是這客戶很有意思，該客戶中國分公司的人為了驗(yàn)證內(nèi)網(wǎng)安全性，從國外找了一個滲透測試小組對Zeppelin和其他產(chǎn)品進(jìn)行黑客測試，結(jié)果發(fā)現(xiàn)Zeppelin主要倆問題，一個是在內(nèi)網(wǎng)沒用https，一個是zeppelin里面可以執(zhí)行shell命令和python語句。其實(shí)這不算大問題，zeppelin本來就是干這個用的。但是滲透小組不

2017-11-02 19:25:32

hadoop zeppelin hack

大數(shù)據(jù)實(shí)踐總結(jié)－－兩個故障的處理及思路總結(jié)

已經(jīng)有一段時間沒有更新實(shí)踐內(nèi)容了，不是因?yàn)闆]有在學(xué)習(xí)。而是工作上出現(xiàn)一個新的挑戰(zhàn)，又在忙論文查重，論文也是大數(shù)據(jù)方向的，主要是ICT方向的一個技術(shù)（若有人感興趣，我會另開一個帖子來詳細(xì)談這個內(nèi)容）。而且最近，把之前所有的實(shí)踐環(huán)境換了一臺電腦來重新搭建。按理說會很順利，但沒想到，還是出了許多問題。一些簡單的問題就直接解決了，但仍是有兩

2017-09-26 23:24:31

實(shí)踐大數(shù)據(jù)

hadoop源碼解析---INodeReference機(jī)制

本文主要介紹了hadoop源碼中hdfs的INodeReference機(jī)制。在hdfs2.6版本中，引入了許多新的功能，一些原有的源代碼設(shè)計也有一定的改造。一個重要的更新就是引入了快照功能。但是當(dāng)HDFS文件或者目錄處于某個快照中，并且這個文件或者目錄被重命名或者移動到其他路徑時，該文件或者目錄就會存在多條訪問路徑。INodeReference就是為了解決這個問題產(chǎn)生的。問題描述/a是hdfs中的

2016-07-07 00:27:38

源代碼快照 hdfs

logstash將Kafka中的日志數(shù)據(jù)訂閱到HDFS

前言：通常情況下，我們將Kafka的日志數(shù)據(jù)通過logstash訂閱輸出到ES，然后用Kibana來做可視化分析，這就是我們通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比較常用的是實(shí)時分析，日志存?zhèn)€十天半個月都會刪掉。那么在一些情況下，我需要將日志數(shù)據(jù)也存一份到我HDFS，積累到比較久的時間做半年、一年甚至更長時間的大數(shù)據(jù)分析。下面就來說如何最簡單的通過logstash將kafka中

2016-07-06 11:18:14

hadoop logstash kafka

hadoop+zookepper實(shí)現(xiàn)namenode的高可用

Hadoop+zookeepker安裝與配置:在hadoop-env.sh中添加export JAVA的環(huán)境變量修改hostname文件的名稱，/etc/hosts文件配置主機(jī)名和ip的映射關(guān)系，將mstaer，slave的主機(jī)名和ip地址都添加進(jìn)來配置ssh免密鑰配置Ssh-keygen –t rsa在./.ssh文件中生成兩個文件id_rsa（私鑰），id_rsa.pu

2016-02-05 11:38:09

HA hadoop zookeeper

Hadoop運(yùn)維記錄系列(十七)

上個月通過email，幫朋友的朋友解決了一個Cloudera的Spark-SQL無法訪問HBase做數(shù)據(jù)分析的問題，記錄一下。

2015-11-13 19:00:35

運(yùn)維 hadoop spark

上一頁 1 2 3 4 5 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

婷婷久久综合九色国产成人| 激情另类小说区图片区视频区| 日韩精品一区二区三区蜜臀| 成人黄色av片| av网站在线播放| 国产**成人网毛片九色| 欧美有码在线视频| 大吊一区二区三区| 国产精品x8x8一区二区| 欧美午夜电影在线播放| 欧美高清中文字幕| 成人在线免费公开观看视频| 国产麻豆精品在线观看| 日本亚洲精品在线观看| 蜜臀久久精品久久久用户群体| 欧美aaaaaaaa牛牛影院| 欧美精品第1页| 播放灌醉水嫩大学生国内精品| 香港伦理在线| 91美女蜜桃在线| 91免费在线观看网站| 亚洲GV成人无码久久精品| 亚洲有吗中文字幕| 一本色道久久综合亚洲精品小说| 岛国大片在线免费观看| 国产91亚洲精品久久久| 天天综合日日夜夜精品| 大桥未久一区二区三区| yw193.com尤物在线| 成人丝袜高跟foot| 亚洲综合最新在线| 怡红院男人天堂| 欧美亚洲一区| 91高潮在线观看| 毛片aaaaa| 91超碰成人| 中文字幕在线亚洲| 国产精品300页| 一区二区三区四区高清视频| 欧美猛男gaygay网站| 国产免费视频传媒| 亚洲精品动漫| 欧美日韩久久久久| 国产欧美日韩网站| 欧美78videosex性欧美| 亚洲日本一区二区三区| 一区二区三区三区在线| 高清性色生活片在线观看| www精品美女久久久tv| 国产伦理久久久| 蜜桃av噜噜一区二区三区麻豆| 国产一区二区调教| 成人信息集中地欧美| 在线观看免费中文字幕| 欧美a级一区二区| 国产成人精品视频在线| 精品黑人一区二区三区| 日韩精品乱码免费| 国产精品高潮视频| 亚洲av人无码激艳猛片服务器| 视频一区二区不卡| 国产精品第8页| 国产天堂第一区| 老司机午夜精品| 成人av在线网址| 99热这里只有精品99| 国产伦精品一区二区三区免费迷| 亚洲自拍偷拍色片视频| www.黄色小说.com| 成人久久18免费网站麻豆| 精品久久久久久一区| 婷婷在线免费视频| 久久综合五月天婷婷伊人| 欧美主播一区二区三区美女久久精品人| 三级av在线| 日本一区二区三区四区 | 国产一区二区三区四区二区| 国产视频一区在线| 欧美性受xxxx黑人| 天天做天天爱天天综合网2021| 久久九九亚洲综合| 国产无遮挡aaa片爽爽| 在线综合欧美| 国产精品视频在线观看| 国产女人18毛片水真多| 成人动漫视频在线| 日韩一区二区三区资源| 黄色精品免费看| 亚洲第一久久影院| aaa毛片在线观看| 二区三区精品| 亚洲精品美女在线观看| 亚洲永久无码7777kkk| 久久影院100000精品| 欧美精品www| 69成人免费视频| 激情综合色播五月| 国内一区二区三区在线视频| jyzzz在线观看视频| 亚洲精品中文在线| 精品视频一区二区在线| 9.1麻豆精品| 亚洲精品永久免费| 成人自拍小视频| 国产视频一区在线观看一区免费| 成人妇女免费播放久久久| 欧美熟妇交换久久久久久分类| 国产午夜精品一区二区三区视频| www.99riav| jizz久久久久久| 亚洲精品一区二区在线观看| 91免费在线看片| 亚洲中字在线| 99理论电影网| 日本www在线观看视频| 黑人精品xxx一区| 中文在线字幕观看| 91tv精品福利国产在线观看| 国产成+人+综合+亚洲欧洲| 国内老熟妇对白hdxxxx| 国产精品久久久久永久免费观看| 尤物av无码色av无码| 国内精品视频| 中文字幕亚洲一区| 久久青青草原亚洲av无码麻豆| 国产麻豆精品theporn| 性欧美精品一区二区三区在线播放| 三妻四妾的电影电视剧在线观看| 日韩精品一区二区三区在线播放 | 舔着乳尖日韩一区| 人妻巨大乳一二三区| 成人女性视频| 国产成人精品日本亚洲| 天堂av中文在线资源库| 亚洲国产乱码最新视频| 国产麻豆剧传媒精品国产| 999久久久免费精品国产| 国产精品爽黄69| 国产高清在线| 色综合天天综合网国产成人综合天| 精品一区二区视频在线观看| 狠狠色综合网| 国产久一道中文一区| 七七久久电影网| 日韩欧美国产综合| 欧美丰满艳妇bbwbbw| 国产乱码一区二区三区| 久久av秘一区二区三区| 99久久这里有精品| 久久综合久久88| 99热这里是精品| 亚洲精品久久久蜜桃| 深夜做爰性大片蜜桃| 一区二区三区毛片免费| 高清国产在线一区| 51漫画成人app入口| 亚洲精品99999| 欧美性猛交bbbbb精品| 久久久精品一品道一区| 五月天婷婷激情视频| 日韩综合网站| 亚洲字幕在线观看| 欧美videos另类精品| 亚洲国产天堂网精品网站| 国产性猛交╳xxx乱大交| 久久久精品国产免大香伊| 免费一级特黄录像| 五月久久久综合一区二区小说| 91在线播放视频| 91www在线| 国产一区二区日韩精品欧美精品| 亚洲天堂中文在线| 亚洲麻豆国产自偷在线| 日本少妇xxxx| 日韩电影在线观看一区| 一道本在线观看视频| 99国产精品久久一区二区三区| 98精品国产自产在线观看| 久久经典视频| 这里只有精品视频在线观看| 男人天堂中文字幕| 国产婷婷一区二区| 中文字幕一区二区在线观看视频| 精品动漫一区| 色噜噜一区二区| av成人综合| 国产精品999999| 污视频在线免费观看网站| 精品视频www| 国产绿帽刺激高潮对白| 亚洲成人av一区| www.涩涩爱| 成人av免费在线| wwwwwxxxx日本| 怡红院精品视频在线观看极品| 日韩欧美三级一区二区| 视频一区在线| 国产精品久久久久久久久久小说| 呦呦在线视频| 中文字幕亚洲在线| 三级在线观看网站| 欧美日韩五月天| 精品欧美一区二区三区免费观看 | 男女视频免费看| 国产精品高清亚洲| 亚洲欧美色图视频| 国产精品888| 国产精品拍拍拍| 国产亚洲精品v| 成人免费a级片| 欧美超碰在线| 日本精品一区二区| 国产伦精品一区二区三区免费优势| 国产精品色午夜在线观看| 日韩伦理福利| 性日韩欧美在线视频| 黄色动漫在线| 最近2019年手机中文字幕| 台湾av在线二三区观看| 精品国产乱码久久久久久1区2区 | 毛片视频网站在线观看| 一区二区三区在线视频免费| 国产黄色录像片| 国产欧美日韩亚州综合 | 亚洲欧美另类综合| 欧美巨大另类极品videosbest| 精品久久久久久久久久久久久久久久| 亚洲国产综合在线| 欧美人妻精品一区二区免费看| 中文字幕一区二区三区在线观看| 欧美熟妇激情一区二区三区| 91啪亚洲精品| 亚洲av无码一区二区二三区| 99久久综合国产精品| 国产女主播在线播放| 国产精品一区二区你懂的| 亚洲天堂网2018| 乱一区二区av| 一起操在线视频| 美女爽到高潮91| 激情小说亚洲图片: 伦| 久久久xxx| 成人在线免费播放视频| 久久久久久9| 91在线视频观看免费| 精品一区二区在线观看视频| 日韩一区二区视频在线| 香蕉国产精品| 无遮挡亚洲一区| 精品国产一区探花在线观看| 日本一区二区在线视频| 妖精一区二区三区精品视频 | 精品人妻一区二区三区换脸明星| 欧美精品色综合| 国产精品久久久久久久久久久久久久久久 | 99亚洲伊人久久精品影院| 国产乱肥老妇国产一区二| 欧美系列精品| 亚洲综合小说区| 精品国产一区二区三区成人影院| 国产亚洲一区在线播放| 日韩大尺度在线观看| 欧洲精品久久| 欧美黄色大片在线观看| 一本一道久久a久久精品综合 | 亚洲国产精品成人综合| 亚洲色图日韩精品| 亚洲男人天堂一区| 九九在线观看视频| 欧美日韩国产精品专区 | 欧美一级日韩不卡播放免费| 国产欧美久久久| 亚洲精品美女在线观看播放| 成人免费高清在线播放| 久久久精品999| 嗯～啊～轻一点视频日本在线观看| 清纯唯美日韩制服另类| 国产电影一区二区三区爱妃记| 91精品视频在线免费观看| h视频久久久| 日本欧美精品久久久| 夜间精品视频| 国产淫片免费看| 久久国产夜色精品鲁鲁99| 2025中文字幕| 久久久无码精品亚洲日韩按摩| 中文字幕美女视频| 亚洲成在人线在线播放| 久久久久亚洲视频| 日韩欧美一级在线播放| 蝌蚪视频在线播放| 欧美大尺度激情区在线播放| 成人直播视频| 91在线看网站| 日韩一区三区| 欧美日韩在线视频一区二区三区| 精品一二线国产| 欧美bbbbb性bbbbb视频| √…a在线天堂一区| 国产九色在线播放九色| 91精品久久久久久久99蜜桃| 欧美捆绑视频| 久久久视频精品| 色成人综合网| 日韩精品久久一区二区三区| 午夜国产精品视频免费体验区| 已婚少妇美妙人妻系列| 国产精品1区2区3区在线观看| 女～淫辱の触手3d动漫| 亚洲精选免费视频| 在线观看毛片视频| 亚洲免费福利视频| 欧美aaaaaaa| 亚洲综合精品一区二区| 水蜜桃精品av一区二区| av片中文字幕| 99久久精品免费看| 美国黄色小视频| 欧美人与性动xxxx| 黄色片在线免费看| 7m精品福利视频导航| 91精品国产自产在线丝袜啪| 一区一区视频| 奇米精品一区二区三区在线观看一| 51调教丨国产调教视频| 亚洲成人中文在线| av中文字幕播放| 久久偷看各类女兵18女厕嘘嘘| 天然素人一区二区视频| 欧美日韩在线观看一区二区三区| 99精品视频免费| 丰满人妻一区二区三区免费视频棣| 自拍偷拍国产亚洲| 中文字幕男人天堂| 在线观看欧美视频| 欧美专区福利免费| 久久综合给合久久狠狠色| 亚洲欧洲一区| 2一3sex性hd| 亚洲.国产.中文慕字在线| 国产综合无码一区二区色蜜蜜| 欧美理论片在线观看| 久久伊人精品| 亚洲中文字幕无码一区二区三区| 国产高清精品久久久久| 免费人成在线观看| 精品成人一区二区三区| yellow字幕网在线| 久久亚洲一区二区| 免费在线亚洲欧美| 久久美女免费视频| 欧美性受xxxx黑人xyx| 在线国产91| 91久久中文字幕| 欧美体内she精视频在线观看| 亚洲美女高潮久久久| 午夜精品免费在线| 三级无遮挡在线观看| 国产精品久久77777| 久久精品国产www456c0m| 亚洲精品综合在线观看| 亚洲人一二三区| 蜜桃久久一区二区三区| 欧美专区第一页| 日本一区二区免费高清| 成人三级做爰av| 黄色精品一区二区| 国产永久免费高清在线观看| 成人黄色在线免费| 欧美色一级片| 人妻少妇精品视频一区二区三区| 在线视频你懂得一区二区三区| 欧美69xxxx| 国产精品综合久久久久久| 日韩国产精品大片| 91麻豆免费视频网站| 日韩av在线免播放器| 精品176极品一区| 精品国产一区二区三区无码| 久久久精品国产免大香伊| 国产喷水福利在线视频| 456亚洲影院| 忘忧草精品久久久久久久高清| 黄色免费看视频| 欧美久久婷婷综合色| h片在线观看下载| 亚洲开发第一视频在线播放| 国产高清精品久久久久| 神马久久久久久久 | 日韩免费福利视频| 中文字幕在线乱| 久久综合九色综合97_久久久 | 亚洲第一精品电影| 国产麻豆一区| 人妻少妇精品无码专区二区| 国产精品三级在线观看| 色久视频在线播放| 97人人模人人爽视频一区二区 | 成人av色在线观看| 国产欧美亚洲一区|