精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認(rèn)證

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫

賬號(hào)設(shè)置退出

Hadoop

840內(nèi)容??

關(guān)注

涵蓋Hadoop相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加深入地學(xué)習(xí)這一大數(shù)據(jù)基礎(chǔ)技術(shù)。

共 156 條

各組件配置LDAP認(rèn)證手冊(cè)

注：本手冊(cè)以CM&CDH5.7.6為例1、Hive配置LDAP認(rèn)證目前單個(gè)Hive Server2只能支持一種客戶端認(rèn)證方式，或者是Kerberos認(rèn)證，或者是LDAP認(rèn)證，所以要在一個(gè)集群內(nèi)部同時(shí)支持兩種認(rèn)證方式，必須配置兩個(gè)HiveServer 2。注：目前新版本CDH已經(jīng)可以同時(shí)支持兩種認(rèn)證方式，在CDH5.14.4上已驗(yàn)證過。1.1、開啟“啟用LDAP身份驗(yàn)證”搜索“啟用 LDAP

2021-10-13 15:45:10

hue hive impala

0009 - 基于MapReduce的應(yīng)用案例

大數(shù)據(jù)夢(mèng)工廠（0009基于MapReduce的應(yīng)用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce詞頻統(tǒng)計(jì)案例1.1樣本數(shù)據(jù)這是一個(gè)經(jīng)典的詞頻統(tǒng)計(jì)的案例：統(tǒng)計(jì)如下樣本數(shù)據(jù)中每個(gè)單詞出現(xiàn)的次數(shù)。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

Hadoop MapReduce 大數(shù)據(jù)

0007 - MapReduce入門指南

大數(shù)據(jù)夢(mèng)工廠（0007MapReduce入門指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce簡(jiǎn)介HadoopMapReduce是一個(gè)分布式計(jì)算框架（也稱為編程模型）?；谒帉懙膽?yīng)用程序能夠以一種可靠、容錯(cuò)的方式在大規(guī)模集群（數(shù)千個(gè)節(jié)點(diǎn)）上并行處理TB級(jí)別的海量數(shù)據(jù)集。MapReduceTask過程分為兩個(gè)處理階段：M

2021-09-13 23:00:58

Hadoop MapReduce 大數(shù)據(jù)

CDH 集群使用 JindoFS SDK 訪問 OSS

CDH 集群使用 JindoFS SDK 訪問 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是眾多Hadoop發(fā)行版本中的一種，本文以CDH 5.16.2為例介紹如何配置CDH支持使用JindoFS SDK訪問OSS。步驟 1. 安裝 jar 包下載最新的jar包 jindofs-sdk-x.x.x.jar (下載頁面)，

2021-09-13 13:38:45

0006 - Hadoop&HDFS命令指南大全

大數(shù)據(jù)夢(mèng)工廠（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive創(chuàng)建一個(gè)Hadoop歸檔文件，其擴(kuò)展名是.har。創(chuàng)建archive是一個(gè)Map/Reduce任務(wù)。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

Hadoop MapReduce 大數(shù)據(jù)

0005 - Hadoop-Shell命令指南大全

大數(shù)據(jù)夢(mèng)工廠（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令簡(jiǎn)介bash適用于任何文件系統(tǒng)hadoopfs<args只能用于HDFS分布式文件系統(tǒng)hadoopdfs<args（推薦）和上面的命令作用相同，當(dāng)使用hadoopdfs時(shí)內(nèi)部會(huì)被轉(zhuǎn)為hdfsdfs命令hdfsdf

2021-09-06 22:06:04

0004 - DataNode工作機(jī)制解析

大數(shù)據(jù)夢(mèng)工廠（0004DataNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每個(gè)節(jié)點(diǎn)部署一個(gè)，用于存儲(chǔ)數(shù)據(jù)，負(fù)責(zé)提供客戶端的讀寫請(qǐng)求，并且根據(jù)NameNode的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除、追加和復(fù)制等操作。DataNode三大功能：負(fù)責(zé)管理所在節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)的讀寫，及存儲(chǔ)每個(gè)文件的數(shù)據(jù)

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，機(jī)架感知策略、寫數(shù)據(jù)流程、降副本后刪除冗余數(shù)據(jù)時(shí)間和心跳機(jī)制

2021-09-04 22:58:07

機(jī)架感知策略 Hadoop寫數(shù)據(jù)流程降副本后刪除冗余數(shù)據(jù)時(shí)

0003 - NameNode工作機(jī)制解析

大數(shù)據(jù)夢(mèng)工廠（0003NameNode工作機(jī)制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服務(wù)，它管理和維護(hù)著整個(gè)HDFS分布式文件系統(tǒng)，主要有以下作用：負(fù)責(zé)接收客戶端的操作請(qǐng)求；負(fù)責(zé)管理文件系統(tǒng)命名空間（NameSpace）、集群配置信息及存儲(chǔ)塊的復(fù)制等；負(fù)責(zé)文件目錄樹的維護(hù)以及文件對(duì)應(yīng)Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一組可擴(kuò)展和可擴(kuò)展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效地滿足Hadoop中的合規(guī)性要求，并允許與整個(gè)企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。 Apache Atlas為組織提供了開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對(duì)這些資產(chǎn)進(jìn)行分類和治理，并為數(shù)據(jù)科學(xué)家，分析師和數(shù)據(jù)治理團(tuán)隊(duì)提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。如果沒有Atlas大數(shù)據(jù)表依賴問題不好解決，元數(shù)據(jù)管理需要自

2021-08-21 15:46:53

大數(shù)據(jù)—— YARN

源碼見：https://github.com/hiszm/hadooptrainYARN產(chǎn)生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群資源管理系統(tǒng)。用戶可以將各種服務(wù)框架部署在YARN上，由YARN進(jìn)行統(tǒng)一地管理和資源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#導(dǎo)入MD文檔圖片#學(xué)完大數(shù)據(jù),來測(cè)測(cè)你大數(shù)據(jù)技術(shù)掌握程度?

問題1：Rowkey如何設(shè)計(jì)，設(shè)計(jì)規(guī)則是什么？ - 業(yè)務(wù)原則：貼合業(yè)務(wù)，保證前綴是最常用的查詢字段 - 唯一原則：每條rowkey唯一表示一條數(shù)據(jù) - 組合原則：常用的查詢條件組合作為Rowkey - 散列原則：rowkey構(gòu)建不能連續(xù) - 長(zhǎng)度原則：滿足業(yè)務(wù)需求越短越好

2021-08-07 11:27:18

大數(shù)據(jù)面試題

CDH6.3.0上配置各種對(duì)象存儲(chǔ)

cm-hdfs: ufile: 還需添加jar包 ? ? S3:是自帶jar包 ? ? OSS: CDH6不需要下載包, CDH5需要 core-site.xml 的群集范圍高級(jí)配置代碼段（安全閥） ? ? ? ? fs.oss.endpoint oss-eu-west-1.aliyuncs.com? ? ? ? ? ? ? #oss的外網(wǎng)地址fs.oss.accessKeyId?fs.

2021-07-27 17:54:03

Hadoop基礎(chǔ)-12-Hive

源碼見：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ? data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

數(shù)據(jù)庫大數(shù)據(jù)hadoop

Hadoop 官方WordCount案例帶你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超級(jí)經(jīng)典的SQL練習(xí)題（MySQL版本），你還怕SQL不過關(guān)嗎？

微信搜索公眾號(hào)【C you again】，回復(fù)“SQL”下載無水印PDF版本，方便收藏 ## 1 數(shù)據(jù)表 #### 1.1 學(xué)生表 Student（SId，Sname，Sage，Ssex） > SId 學(xué)生編號(hào)，Sname 學(xué)生姓名，Sage 出生年月，Ssex 學(xué)生性別 #### 1.2 課程表 Course（CId，Cname，TId） > CId 課程編號(hào)，Cname 課程名稱，

2021-07-09 13:36:50

flume的集群部署與測(cè)試

flume的集群部署標(biāo)簽（空格分隔）：協(xié)作框架[toc]##一：flume介紹：1.1flume的介紹Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。當(dāng)前Flume有兩個(gè)版本Flume0.9X版本的統(tǒng)稱Flume

2021-05-26 16:30:24

數(shù)棧技術(shù)分享：一文帶你了解Flink jm、tm啟動(dòng)過程和資源分配

一、JM啟動(dòng)過程1、從日志角度分析啟動(dòng)流程1）client生成jobGraph詳情請(qǐng)參考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到請(qǐng)求(和yarn交互不重點(diǎn)分析)3）在被分配的節(jié)點(diǎn)上的工作目錄下啟動(dòng)launch_container.sh4）在perJob模式下，最終調(diào)用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大數(shù)據(jù)開源項(xiàng)目

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：hadoopHDFSHA與yarnHA的概述二：部署環(huán)境概述三：部署zookeeper四：部署HDFSHA與yarnHA五：關(guān)于HA的測(cè)試一：hadoopHDFSHA與yarnHA的概述1.1HA的概述HA概述1）所謂HA（HighAvailable），即高可用（7*24小時(shí)不中斷服務(wù)）。2）實(shí)現(xiàn)高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

OLAP引擎：基于Druid組件進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析

與現(xiàn)在相對(duì)熱門的Clickhouse引擎相比，Druid對(duì)高并發(fā)的支持相對(duì)較好和穩(wěn)定，但是Clickhouse在任務(wù)隊(duì)列模式中的數(shù)據(jù)查詢能力十分出色，但是對(duì)高并發(fā)支持不夠友好，需要做好很多服務(wù)監(jiān)控和預(yù)警。大數(shù)據(jù)組件中OLAP引擎的選型有很多，在數(shù)據(jù)的查詢引擎層通常都具有兩種或者以上的OLAP引擎，選擇合適的組件解決業(yè)務(wù)需求是優(yōu)先原則。

2021-04-05 11:09:29

Druid OLAP 大數(shù)據(jù)

數(shù)據(jù)調(diào)度組件：基于Azkaban協(xié)調(diào)時(shí)序任務(wù)執(zhí)行

Azkaban是由Linkedin公司推出的可以管理批量工作流任務(wù)的調(diào)度器，用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的web用戶界面維護(hù)和跟蹤你的工作流。

2021-03-30 08:26:23

Azkaban 大數(shù)據(jù)任務(wù)調(diào)度

記錄一次事故處理50%kudu表無法進(jìn)行正常訪問

記錄一次事故處理50%kudu表無法進(jìn)行正常訪問測(cè)試環(huán)境kudu集群事故，影響：測(cè)試效果，測(cè)試進(jìn)度，生產(chǎn)發(fā)布延遲，需警惕，特此寫出過程操作需謹(jǐn)慎！操作需謹(jǐn)慎！操作需謹(jǐn)慎！任務(wù)環(huán)境都要以生產(chǎn)環(huán)境而對(duì)待！事故原因：昨天于上午10點(diǎn)，業(yè)務(wù)說kudu表無法使用后，影響測(cè)試，無法正常發(fā)布。去scm平臺(tái)發(fā)現(xiàn)kudu_tablet掛了5臺(tái)運(yùn)維查看信息日志后，做近一步處理1.重啟kudu—tablet發(fā)現(xiàn)無法啟動(dòng)

2020-12-21 15:27:43

kudu表無法訪問 kudu規(guī)范 kudu_tablet

prometheus + grafana 對(duì)flink 進(jìn)行監(jiān)控

prometheus+grafana對(duì)flink進(jìn)行監(jiān)控標(biāo)簽（空格分隔）：flink系列一：flink監(jiān)控簡(jiǎn)介二：Flink的Metric架構(gòu)三：prometheus+grafana的對(duì)flink的監(jiān)控部署構(gòu)建一：flink監(jiān)控簡(jiǎn)介1.1前言Flink提供的Metrics可以在Flink內(nèi)部收集一些指標(biāo)，通過這些指標(biāo)讓開發(fā)人員更好地理解作業(yè)或集群的狀態(tài)。由于集群運(yùn)行后很難發(fā)現(xiàn)內(nèi)部的實(shí)際狀況，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：系統(tǒng)環(huán)境二：CDH6.3.2集成freeipa的Kerberos一：系統(tǒng)環(huán)境1.2系統(tǒng)配置要求大數(shù)據(jù)的所有主機(jī)注入到FreeIPA當(dāng)中cdh最低版本為CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

將大數(shù)據(jù)學(xué)習(xí)門檻降到了地平線

可能是Hadoop hdfs mapreduce最親民的介紹

2020-10-29 21:14:14

hadoop hdfs mapreduce

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？

大數(shù)據(jù)PAZR集成ldap實(shí)操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH運(yùn)維 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS產(chǎn)出背景及定義隨著數(shù)據(jù)量越來越大，在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù)，那么就分配到更多的操作系統(tǒng)管理的磁盤中，但是不方便管理和維護(hù)，迫切需要一種系統(tǒng)來管理多臺(tái)機(jī)器上的文件，這就是分布式文件管理系統(tǒng)。HDFS只是分布式文件管理系統(tǒng)中的一種。HDFS（HadoopDistributedFileSystem），它是一個(gè)文件系統(tǒng)，用于存儲(chǔ)文件，通過目錄樹來定位文件；其次，它是分布式

2019-09-07 00:55:36

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

大數(shù)據(jù)采集、清洗、處理：使用MapReduce進(jìn)行離線數(shù)據(jù)分析完整案例

2018-04-08 22:36:04

大數(shù)據(jù)Hadoop MapReduce

詳解Linux運(yùn)維工程師高級(jí)篇（大數(shù)據(jù)安全方向）

詳解linux運(yùn)維工程師高級(jí)篇（大數(shù)據(jù)安全方向）

2018-02-07 18:57:15

大數(shù)據(jù)安全 kerberos

Hadoop運(yùn)維記錄系列(二十一)

Zeppelin啟用https過程和Hack內(nèi)核以滿足客戶需求的記錄。原因是這客戶很有意思，該客戶中國(guó)分公司的人為了驗(yàn)證內(nèi)網(wǎng)安全性，從國(guó)外找了一個(gè)滲透測(cè)試小組對(duì)Zeppelin和其他產(chǎn)品進(jìn)行黑客測(cè)試，結(jié)果發(fā)現(xiàn)Zeppelin主要倆問題，一個(gè)是在內(nèi)網(wǎng)沒用https，一個(gè)是zeppelin里面可以執(zhí)行shell命令和python語句。其實(shí)這不算大問題，zeppelin本來就是干這個(gè)用的。但是滲透小組不

2017-11-02 19:25:32

hadoop zeppelin hack

大數(shù)據(jù)實(shí)踐總結(jié)－－兩個(gè)故障的處理及思路總結(jié)

已經(jīng)有一段時(shí)間沒有更新實(shí)踐內(nèi)容了，不是因?yàn)闆]有在學(xué)習(xí)。而是工作上出現(xiàn)一個(gè)新的挑戰(zhàn)，又在忙論文查重，論文也是大數(shù)據(jù)方向的，主要是ICT方向的一個(gè)技術(shù)（若有人感興趣，我會(huì)另開一個(gè)帖子來詳細(xì)談這個(gè)內(nèi)容）。而且最近，把之前所有的實(shí)踐環(huán)境換了一臺(tái)電腦來重新搭建。按理說會(huì)很順利，但沒想到，還是出了許多問題。一些簡(jiǎn)單的問題就直接解決了，但仍是有兩

2017-09-26 23:24:31

實(shí)踐大數(shù)據(jù)

hadoop源碼解析---INodeReference機(jī)制

本文主要介紹了hadoop源碼中hdfs的INodeReference機(jī)制。在hdfs2.6版本中，引入了許多新的功能，一些原有的源代碼設(shè)計(jì)也有一定的改造。一個(gè)重要的更新就是引入了快照功能。但是當(dāng)HDFS文件或者目錄處于某個(gè)快照中，并且這個(gè)文件或者目錄被重命名或者移動(dòng)到其他路徑時(shí)，該文件或者目錄就會(huì)存在多條訪問路徑。INodeReference就是為了解決這個(gè)問題產(chǎn)生的。問題描述/a是hdfs中的

2016-07-07 00:27:38

源代碼快照 hdfs

logstash將Kafka中的日志數(shù)據(jù)訂閱到HDFS

前言：通常情況下，我們將Kafka的日志數(shù)據(jù)通過logstash訂閱輸出到ES，然后用Kibana來做可視化分析，這就是我們通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比較常用的是實(shí)時(shí)分析，日志存?zhèn)€十天半個(gè)月都會(huì)刪掉。那么在一些情況下，我需要將日志數(shù)據(jù)也存一份到我HDFS，積累到比較久的時(shí)間做半年、一年甚至更長(zhǎng)時(shí)間的大數(shù)據(jù)分析。下面就來說如何最簡(jiǎn)單的通過logstash將kafka中

2016-07-06 11:18:14

hadoop logstash kafka

hadoop+zookepper實(shí)現(xiàn)namenode的高可用

Hadoop+zookeepker安裝與配置:在hadoop-env.sh中添加export JAVA的環(huán)境變量修改hostname文件的名稱，/etc/hosts文件配置主機(jī)名和ip的映射關(guān)系，將mstaer，slave的主機(jī)名和ip地址都添加進(jìn)來配置ssh免密鑰配置Ssh-keygen –t rsa在./.ssh文件中生成兩個(gè)文件id_rsa（私鑰），id_rsa.pu

2016-02-05 11:38:09

HA hadoop zookeeper

Hadoop運(yùn)維記錄系列(十七)

上個(gè)月通過email，幫朋友的朋友解決了一個(gè)Cloudera的Spark-SQL無法訪問HBase做數(shù)據(jù)分析的問題，記錄一下。

2015-11-13 19:00:35

運(yùn)維 hadoop spark

使用flume替代原有的scribe服務(wù)

以前很多業(yè)務(wù)都是用scribe做日志收集的支撐的，后來fb停止了對(duì)scribe的開發(fā)支持。而且scribe在機(jī)器上編譯一次的代價(jià)太大了，各種坑，正好后來flume從1.3.0開始加入了對(duì)scribe的支持。就可以把原來scribe上面接入的數(shù)據(jù)轉(zhuǎn)用flume收集了。雖然我很喜歡scribe，但是失去了官方支持畢竟還是很鬧心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集 hadoop

去除Hadoop-Streaming行末多余的TAB

單位有一組業(yè)務(wù)一直都是使用Streaming壓縮文本日志，大體上就是設(shè)置作業(yè)輸出為BZ2格式，怎么輸入就怎么輸出，沒有任何處理功能在里面。但是每行結(jié)尾都多出來一個(gè)TAB。終于，有一個(gè)業(yè)務(wù)需要使用TAB前的最后一個(gè)字段，不去掉不行了。雖然是個(gè)小問題，但是網(wǎng)上搜了一圈，也沒有很好的解決。很多人都遇到了，但是單位的業(yè)務(wù)比較特殊，只有map沒有red

2015-01-10 23:45:27

hadoop streaming 去除多余的Tab

hadoop jetty的應(yīng)用

在hadoop中很多地方都用到了servlet，并且使用jetty作為servlet的容器來提供http的服務(wù)，其主要是通過org.apache.hadoop.http.HttpServer類實(shí)現(xiàn)的，HttpServer類是對(duì)Jetty的簡(jiǎn)單封裝，通過調(diào)用HttpServer類的addServlet方法增加可以實(shí)現(xiàn)增加servlet到j(luò)etty的功能：publ

2014-12-22 21:57:20

使用shell并發(fā)上傳文件到hdfs

從本地到hdfs的并發(fā)腳本相關(guān)說明及代碼實(shí)現(xiàn)。

2014-12-14 16:09:08

shell put hadoop

利用開源日志收集軟件fluentd收集日志到HDFS文件系統(tǒng)中

利用開源的日志收集系統(tǒng)fluentd，把日志寫入到HDFS文件系統(tǒng)中！

2014-12-04 16:27:46

hadoop hdfs 日志收集

DataNode與NameNode交互機(jī)制相關(guān)代碼分析

HDFS Federation是為解決HDFS單點(diǎn)故障而提出的NameNode水平擴(kuò)展方案，該方案允許HDFS創(chuàng)建多個(gè)Namespace以提高集群的擴(kuò)展性和隔離性。在Federation中新增了block-pool的概念，block-pool就是屬于單個(gè)Namespace的一組block,每個(gè)DataNode為所有的block-pool存儲(chǔ)block

2014-11-25 11:23:18

DataNode文件系統(tǒng)源碼分析

在DataNode的本地存儲(chǔ)空間上，與存儲(chǔ)服務(wù)密切相關(guān)的，比如創(chuàng)建數(shù)據(jù)塊，恢復(fù)數(shù)據(jù)塊，數(shù)據(jù)塊校驗(yàn)等相關(guān)的代碼都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代碼版本CDH5.1)首先說下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop 源碼分析

利用pig分析cdn訪問日志內(nèi)指定時(shí)間段的url訪問次數(shù)

利用pig分析cdn訪問日志，找到指定時(shí)間段內(nèi)，各個(gè)url訪問次數(shù)，并且按照從大到小的次序排列！

2014-11-03 09:55:03

MRv2內(nèi)存監(jiān)控強(qiáng)殺Container問題解決

線上某個(gè)hive job運(yùn)行失敗,報(bào)錯(cuò)如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

sudo bug導(dǎo)致的zabbix斷圖問題

線上使用zabbix的host update來監(jiān)測(cè)監(jiān)控值是否完整（關(guān)于host update的實(shí)現(xiàn)請(qǐng)參考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直發(fā)現(xiàn)有機(jī)器過一段時(shí)間update值就會(huì)莫名其妙變低，之前一直沒有找到rc，只是簡(jiǎn)單通過重啟agent來進(jìn)行修復(fù)，最近同事細(xì)心地發(fā)現(xiàn)可能是和sudo的bug有關(guān)系?；剡^頭再來

2014-10-22 23:53:02

sudo bug zabbix丟失值

hadoop插件sqoop使用案例

sqoop是hadoop項(xiàng)目中一個(gè)插件，可以把分布式文件系統(tǒng)hdfs中內(nèi)容導(dǎo)入到mysql指定表里面，也可以把mysql中內(nèi)容導(dǎo)入到hdfs文件系統(tǒng)中進(jìn)行后續(xù)操作。測(cè)試環(huán)境說明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特別說明：因?yàn)槲野惭b的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysql hadoop hdfs

你用pig分析access_log日志中ip訪問次數(shù)

你用pig分析web訪問日志demo

2014-10-14 13:52:43

Hadoop1.x和2.X的HDFS fsimage和edits文件運(yùn)行機(jī)制對(duì)比

一、概述之前寫過一篇非常詳細(xì)的,利用QJM在HDFS2.0部署HA策略的文章，主要說了利用QJM進(jìn)行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中沒有詳細(xì)描述HADOOP2.x通過QJM部署HA完畢之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoop edits hadoop Ha

Datax與hadoop2.x兼容部署與實(shí)際項(xiàng)目應(yīng)用工作記錄分享

一、概述Hadoop的版本更新挺快的，已經(jīng)到了2.4，但是其周邊工具的更新速度還是比較慢的，一些舊的周邊工具版本對(duì)hadoop2.x的兼容性做得還不完善，特別是sqoop。最近，在為hadoop2.2.0找適合的sqoop版本時(shí)遇到了很多問題。嘗試了多個(gè)sqoop1.4.x版本的直接簡(jiǎn)單粗暴的報(bào)版本不兼容問題，其中測(cè)了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoop sqoop datax

利用QJM實(shí)現(xiàn)HDFS的HA策略部署與驗(yàn)證工作記錄分享

1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了兩個(gè)重要功能，HA和Federation。HA解決了Hadoop1.X Namenode中一直存在的單點(diǎn)故障問題，HA策略通過熱備的方式為主NameNode提供一個(gè)備用者，并且這個(gè)備用者的狀態(tài)一直和主Namenode的元數(shù)據(jù)保持一致

2014-07-22 09:09:15

HA mapreduce hadoop

上一頁 1 2 3 4 下一頁

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

色播色播色播色播色播在线| 日韩乱码人妻无码中文字幕久久| 国产77777| 99这里有精品| 国产免费久久精品| 成人夜晚看av| 成人午夜视频精品一区| 成人vr资源| 亚洲成av人影院在线观看网| 久久久人人爽| 国产精品久久欧美久久一区| 亚洲乱亚洲高清| 91精品婷婷国产综合久久| 无码粉嫩虎白一线天在线观看| 99草在线视频| 91九色精品国产一区二区| 亚洲成人综合网站| 亚洲不卡一卡2卡三卡4卡5卡精品| 欧美日韩综合在线观看| 日韩影视在线观看| 欧美精品久久天天躁| 国产特级淫片高清视频| 黄色免费网站在线| 久久你懂得1024| 99久久99| 天天综合天天做| 亚洲永久精品唐人导航网址| 911精品国产一区二区在线| 男人天堂1024| 国产精品蜜臀| 91视频国产观看| 亚洲自拍偷拍网址| 伊人免费在线观看| 亚洲五月综合| 尤物九九久久国产精品的分类| 五月婷婷六月丁香激情| 国产高清不卡| 亚洲444eee在线观看| 秋霞在线一区二区| av中文资源在线| 蜜桃视频免费观看一区| 51久久精品夜色国产麻豆| 欧美多人猛交狂配| 国产毛片精品| 精品女同一区二区| 日韩欧美色视频| 高清在线一区二区| 欧美精品乱人伦久久久久久| 国产aaaaa毛片| 中文字幕av一区二区三区佐山爱| 一区视频在线播放| 亚洲高清乱码| 亚洲精品成人电影| 老司机精品视频网站| 久久综合色88| 国产97免费视频| 综合天堂久久久久久久| 久久久国产一区二区| 国精品人伦一区二区三区蜜桃| 欧美一级大片| 欧美视频一区二区三区…| 欧美日韩一区综合| 青青草在线播放| 久久久不卡网国产精品二区| 91免费看网站| 不卡视频在线播放| 不卡的av电影| 久久免费视频1| 理论视频在线| 成人福利电影精品一区二区在线观看 | 97视频在线免费观看| 日本三级午夜理伦三级三| 麻豆精品少妇| 日韩大片在线观看视频| www.色多多| 欧美亚洲在线日韩| 亚洲国产精品中文| www.色天使| 色婷婷热久久| 色综合久久悠悠| 精品国产aⅴ一区二区三区东京热| 色婷婷综合久久久中字幕精品久久| 亚洲美女免费在线| 2022中文字幕| 黄色网址在线免费播放| 亚洲精品成人天堂一二三| 久久精品日产第一区二区三区乱码 | 国产欧美在线欧美| 一区二区视频网| 懂色av一区二区夜夜嗨| 精品国产乱码久久久久久郑州公司| 国产精品久久久精品四季影院| 亚洲色图美女| 伊人伊人伊人久久| 永久免费看黄网站| 国产精品亚洲产品| 国产综合福利在线| 一级黄色录像大片| 成人免费三级在线| 手机成人在线| 久草在线视频福利| 欧美日韩综合一区| 韩国三级视频在线观看| 欧美精品乱码| 久久久久免费视频| 人妻久久一区二区| 久久裸体视频| av噜噜色噜噜久久| 都市激情在线视频| 亚洲综合偷拍欧美一区色| 性生交免费视频| 盗摄牛牛av影视一区二区| 中文字幕日韩电影| 日韩在线视频免费播放| 激情久久五月天| 欧美一区亚洲二区| 国产99在线观看| 欧美一区二区三区啪啪| 一起草最新网址| 欧美精品一区二区三区中文字幕| 中文字幕日韩综合av| 欧美三级韩国三级日本三斤在线观看| 亚洲精品婷婷| 亚洲自拍偷拍第一页| 免费国产羞羞网站视频| 中文字幕一区二区三区四区| 中文字幕精品—区二区日日骚| 中文字幕人妻熟女| 视频一区视频二区中文字幕| 国产成人亚洲综合91精品| 亚洲欧美另类日韩| 日韩一区中文字幕| 日本五级黄色片| 欧美午夜三级| 91精品福利在线一区二区三区| 久久精品一二三四| 久草在线综合| 欧美激情高清视频| av天堂一区二区三区| 国产精品另类一区| 在线观看av日韩| 国产区精品区| 国产精品国产三级国产专播精品人 | 男人的天堂在线视频| 国产精品久久久久久久久免费樱桃| 国产麻豆电影在线观看| 91精品国产66| 亚洲区一区二区| 欧美亚洲另类小说| 日韩国产欧美视频| 成人精品视频在线| 免费黄色在线看| 欧美夫妻性生活| 亚洲人与黑人屁股眼交| 久久99精品国产.久久久久久| 国产精品国产三级欧美二区| 福利成人在线观看| 欧美偷拍一区二区| 四虎地址8848| 国产日韩欧美大片| 4444亚洲人成无码网在线观看| 色综合桃花网| 亚洲欧美成人一区二区在线电影| 放荡的美妇在线播放| 国产麻豆一精品一av一免费| 2021狠狠干| 亚洲小说春色综合另类电影| 欧美激情18p| 五月婷在线视频| 在线一区二区三区四区五区| 国产7777777| 国产在线国偷精品免费看| 国产激情美女久久久久久吹潮| 黄色片视频在线观看| 亚洲欧美日韩国产综合| 黄色三级视频在线播放| 欧美激情自拍| 久久99精品久久久久久秒播放器| 伊人春色在线观看| 色综合久久久久| 黑森林av导航| 亚洲综合国产| 一本一生久久a久久精品综合蜜 | 一区二区三区不卡视频在线观看| 日本熟妇人妻中出| 国产精品久久久久无码av| av免费观看久久| 自拍偷自拍亚洲精品被多人伦好爽 | 成人在线亚洲| 97中文在线观看| 手机在线理论片| 久久精品99无色码中文字幕| 黄色av小说在线观看| 一区二区不卡在线播放 | 成人动态视频| 奇米成人av国产一区二区三区| 无码精品人妻一区二区| 欧美丝袜丝交足nylons| 久久精品欧美一区二区| 激情欧美一区| 97se国产在线视频| 牛牛电影国产一区二区| 亚洲性视频网址| 精品人妻少妇AV无码专区| 亚洲精品videosex极品| 90岁老太婆乱淫| 国产成人免费在线视频| 亚洲福利精品视频| 亚洲国产网址| 91在线在线观看| 超碰这里只有精品| 992tv成人免费视频| 免费超碰在线| 国产亚洲在线播放| 人成网站在线观看| 69久久99精品久久久久婷婷 | 国产男男gay网站| 亚洲精品高清视频在线观看| 黄色一级片免费播放| 免播放器亚洲| 精品少妇人欧美激情在线观看| 国产精品自在| 亚洲一区二区中文| 国产精品久久久久久吹潮| 欧美亚洲成人精品| 国产在线拍揄自揄拍视频| 日韩一区二区精品视频| 国产综合视频一区二区三区免费| 欧美日韩一区在线观看| 亚洲另类欧美日韩| 国产精品二区一区二区aⅴ污介绍| 色姑娘综合天天| 另类综合日韩欧美亚洲| 久久av高潮av| 亚洲欧美色图| 中文字幕成人一区| 91偷拍一区二区三区精品| 日本在线观看一区二区三区| 牛牛精品成人免费视频| 国产精品区一区| 亚洲精品国产嫩草在线观看| 2019中文在线观看| 国产在线精彩视频| 韩国19禁主播vip福利视频| 国产大学生校花援交在线播放| 7777精品伊人久久久大香线蕉经典版下载 | 亚洲影视在线播放| 国产色一区二区三区| 激情小说网站亚洲综合网| 日韩中文字幕一区二区高清99| 97精品国产97久久久久久免费| 国产黄在线看| 精品精品国产高清a毛片牛牛 | 国产黄色片在线观看| 亚洲欧美一区二区三区情侣bbw| 国产精品午夜福利| 欧美视频专区一二在线观看| 毛片在线免费视频| 一区二区在线观看免费| 欧美日韩人妻精品一区二区三区| 久久久久久久久岛国免费| 丝袜美腿中文字幕| 国产欧美一区二区精品性色超碰| 91视频在线免费| 99久久夜色精品国产网站| 噜噜噜在线视频| 丰满白嫩尤物一区二区| 国产 xxxx| 久久久国产精华| 黑人狂躁日本娇小| 亚洲黄色在线视频| 日韩精品在线不卡| 色诱亚洲精品久久久久久| 中国老头性行为xxxx| 欧美一区二区三区成人| 日韩一级免费视频| 亚洲人成在线播放| 毛片在线看网站| 久久久久久中文字幕| 蜜臀国产一区| 91网站免费看| 午夜先锋成人动漫在线| 午夜老司机精品| 国产精品草草| 国产日韩欧美成人| 精品亚洲二区| 九九九九精品| 日韩精品91| 国产曰肥老太婆无遮挡| 日韩福利视频网| 日日摸天天爽天天爽视频| 久久福利视频一区二区| 亚洲乱妇老熟女爽到高潮的片| 国产精品自拍毛片| 国产精品久久无码| 成人欧美一区二区三区黑人麻豆| 在线观看免费黄色网址| 亚洲自拍偷拍综合| 国产免费a视频| 日韩精品一区二区三区视频播放 | 免费国产在线精品一区二区三区| 国产精品高潮呻吟久久久久| 99热最新在线| 欧美丝袜丝交足nylons172| 大地资源网在线观看免费官网| 亚洲女同中文字幕| 丁香色欲久久久久久综合网| 久热综合在线亚洲精品| 亚洲精品久久久久久| 粉嫩在线一区二区三区视频| 一二三四国产精品| 精品magnet| 久久久美女视频| 亚洲午夜国产一区99re久久| 中文字幕精品无码亚| 亚洲激情国产| 色女人在线视频| 国产男人精品视频| 国产影视精品一区二区三区| 被灌满精子的波多野结衣| 极品少妇一区二区三区精品视频| 四川一级毛毛片| 中文字幕中文字幕一区二区| 男女做暖暖视频| 欧美日韩国产在线播放网站| 日韩精品福利| 久久久久久成人| 日韩欧美久久| 日本在线视频www色| 精品一区二区免费看| 韩国三级hd中文字幕| 欧美三级欧美成人高清www| 成人午夜福利视频| 欧美大成色www永久网站婷| 久草综合在线| 亚洲精品中文综合第一页| 免费在线观看成人av| 欧美特级aaa| 日本一区二区视频在线观看| 狠狠人妻久久久久久| 亚洲精品久久久一区二区三区| 98在线视频| 国产精品扒开腿做| 午夜日韩影院| 国产免费xxx| 国产乱子轮精品视频| 久久久久99精品成人片试看| 91精品国产福利| 男男gaygays亚洲| 国产精品二区在线| 亚洲天堂男人| 星空大象在线观看免费播放| 亚洲成人激情自拍| 亚洲AV成人无码一二三区在线| 精品国偷自产在线视频| 在线免费观看亚洲| 视色,视色影院,视色影库,视色网| 欧美一级网站| 超碰97av在线| 欧美一区二区福利在线| 欧美家庭影院| 国外成人免费视频| 先锋亚洲精品| 小毛片在线观看| 《视频一区视频二区| 国产成人精品一区二区无码呦| 最近日韩中文字幕中文| 粉嫩av国产一区二区三区| 黄色一级大片免费| 国产综合成人久久大片91| 欧美日韩精品一区二区三区视频播放 | 天天爱天天做天天操| 国产成人亚洲综合a∨猫咪| 久久在线视频精品| 亚洲精品日韩久久久| 激情小说亚洲| 国产制服91一区二区三区制服| 久久精品国产在热久久| 黄色一级视频在线观看| 日韩大片免费观看视频播放| 国产精品xxx| www.成年人视频| 国产98色在线|日韩| 国产精品黄色网| 在线视频欧美日韩| 天堂精品久久久久| 国产亚洲天堂网| 日韩精品乱码免费| v天堂中文在线| 欧美在线短视频| 美女网站视频在线| 欧美日韩一区二区视频在线| 久久99国产精品免费网站| 日韩欧美三级在线观看| 中文日韩电影网站| 嗯用力啊快一点好舒服小柔久久| 国产毛片久久久久久国产毛片| 国产传媒久久文化传媒| 妺妺窝人体色www婷婷| 亚洲男人av在线|