精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認證

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認證華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

大數(shù)據(jù)

9381內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領(lǐng)域。

文章博文帖子課程

共 225 條

使用flume替代原有的scribe服務(wù)

以前很多業(yè)務(wù)都是用scribe做日志收集的支撐的，后來fb停止了對scribe的開發(fā)支持。而且scribe在機器上編譯一次的代價太大了，各種坑，正好后來flume從1.3.0開始加入了對scribe的支持。就可以把原來scribe上面接入的數(shù)據(jù)轉(zhuǎn)用flume收集了。雖然我很喜歡scribe，但是失去了官方支持畢竟還是很鬧心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集 hadoop

記錄一則Spark讀寫和Lost Excutor錯誤的分析和解決過程

一、概述上篇blog記錄了些在用spark-sql時遇到的一些問題，今天繼續(xù)記錄用Spark提供的RDD轉(zhuǎn)化方法開發(fā)公司第一期標簽分析系統(tǒng)（一部分scala作業(yè)邏輯代碼后面blog再給大家分享）遇到的一些SPARK作業(yè)錯誤信息。其中有些問題可能一些數(shù)據(jù)量或者shuffle量比較小的作業(yè)時不會遇到的，我們整套標簽系統(tǒng)的初級輸入數(shù)據(jù)大概是8T左右，這里也是個參考。(下面的Spark部署模

2015-02-27 18:10:20

去除Hadoop-Streaming行末多余的TAB

單位有一組業(yè)務(wù)一直都是使用Streaming壓縮文本日志，大體上就是設(shè)置作業(yè)輸出為BZ2格式，怎么輸入就怎么輸出，沒有任何處理功能在里面。但是每行結(jié)尾都多出來一個TAB。終于，有一個業(yè)務(wù)需要使用TAB前的最后一個字段，不去掉不行了。雖然是個小問題，但是網(wǎng)上搜了一圈，也沒有很好的解決。很多人都遇到了，但是單位的業(yè)務(wù)比較特殊，只有map沒有red

2015-01-10 23:45:27

hadoop streaming 去除多余的Tab

hadoop jetty的應(yīng)用

在hadoop中很多地方都用到了servlet，并且使用jetty作為servlet的容器來提供http的服務(wù)，其主要是通過org.apache.hadoop.http.HttpServer類實現(xiàn)的，HttpServer類是對Jetty的簡單封裝，通過調(diào)用HttpServer類的addServlet方法增加可以實現(xiàn)增加servlet到j(luò)etty的功能：publ

2014-12-22 21:57:20

使用shell并發(fā)上傳文件到hdfs

從本地到hdfs的并發(fā)腳本相關(guān)說明及代碼實現(xiàn)。

2014-12-14 16:09:08

shell put hadoop

利用開源日志收集軟件fluentd收集日志到HDFS文件系統(tǒng)中

利用開源的日志收集系統(tǒng)fluentd，把日志寫入到HDFS文件系統(tǒng)中！

2014-12-04 16:27:46

hadoop hdfs 日志收集

DataNode與NameNode交互機制相關(guān)代碼分析

HDFS Federation是為解決HDFS單點故障而提出的NameNode水平擴展方案，該方案允許HDFS創(chuàng)建多個Namespace以提高集群的擴展性和隔離性。在Federation中新增了block-pool的概念，block-pool就是屬于單個Namespace的一組block,每個DataNode為所有的block-pool存儲block

2014-11-25 11:23:18

DataNode文件系統(tǒng)源碼分析

在DataNode的本地存儲空間上，與存儲服務(wù)密切相關(guān)的，比如創(chuàng)建數(shù)據(jù)塊，恢復(fù)數(shù)據(jù)塊，數(shù)據(jù)塊校驗等相關(guān)的代碼都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代碼版本CDH5.1)首先說下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop 源碼分析

利用pig分析cdn訪問日志內(nèi)指定時間段的url訪問次數(shù)

利用pig分析cdn訪問日志，找到指定時間段內(nèi)，各個url訪問次數(shù)，并且按照從大到小的次序排列！

2014-11-03 09:55:03

MRv2內(nèi)存監(jiān)控強殺Container問題解決

線上某個hive job運行失敗,報錯如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

sudo bug導(dǎo)致的zabbix斷圖問題

線上使用zabbix的host update來監(jiān)測監(jiān)控值是否完整（關(guān)于host update的實現(xiàn)請參考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直發(fā)現(xiàn)有機器過一段時間update值就會莫名其妙變低，之前一直沒有找到rc，只是簡單通過重啟agent來進行修復(fù)，最近同事細心地發(fā)現(xiàn)可能是和sudo的bug有關(guān)系。回過頭再來

2014-10-22 23:53:02

sudo bug zabbix丟失值

hadoop插件sqoop使用案例

sqoop是hadoop項目中一個插件，可以把分布式文件系統(tǒng)hdfs中內(nèi)容導(dǎo)入到mysql指定表里面，也可以把mysql中內(nèi)容導(dǎo)入到hdfs文件系統(tǒng)中進行后續(xù)操作。測試環(huán)境說明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特別說明：因為我安裝的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysql hadoop hdfs

你用pig分析access_log日志中ip訪問次數(shù)

你用pig分析web訪問日志demo

2014-10-14 13:52:43

Hadoop1.x和2.X的HDFS fsimage和edits文件運行機制對比

一、概述之前寫過一篇非常詳細的,利用QJM在HDFS2.0部署HA策略的文章，主要說了利用QJM進行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中沒有詳細描述HADOOP2.x通過QJM部署HA完畢之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoop edits hadoop Ha

Datax與hadoop2.x兼容部署與實際項目應(yīng)用工作記錄分享

一、概述Hadoop的版本更新挺快的，已經(jīng)到了2.4，但是其周邊工具的更新速度還是比較慢的，一些舊的周邊工具版本對hadoop2.x的兼容性做得還不完善，特別是sqoop。最近，在為hadoop2.2.0找適合的sqoop版本時遇到了很多問題。嘗試了多個sqoop1.4.x版本的直接簡單粗暴的報版本不兼容問題，其中測了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoop sqoop datax

利用QJM實現(xiàn)HDFS的HA策略部署與驗證工作記錄分享

1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了兩個重要功能，HA和Federation。HA解決了Hadoop1.X Namenode中一直存在的單點故障問題，HA策略通過熱備的方式為主NameNode提供一個備用者，并且這個備用者的狀態(tài)一直和主Namenode的元數(shù)據(jù)保持一致

2014-07-22 09:09:15

HA mapreduce hadoop

hadoop 1.x升級至hadoop-2.2.0記錄

一、概述公司hadoop集群從1.2.1升級到2.2.0已經(jīng)有一段時間，這篇blog將總結(jié)一下我前段時間在升級至hadoop2.2.0版本過程中遇到的一些問題，以及具體的升級步驟。二、升級過程(1)停掉hadoop1.x集群。(2)備份namenode原數(shù)據(jù)，即備份dfs.namenode.name.dir指向的路徑。以免造成由于升級版本帶來的風(fēng)險。

2014-06-18 15:28:23

hadoop yarn MRv2

Hadoop2的ResourceManager高可用配置

Hadoop 2.2沒怎么關(guān)注過，太新，bug太多。2.4出來以后關(guān)注了一些東西，比如2.4里面直接帶了ResourceManager的高可用，這點比較吸引人。之前2.2沒注意有沒有，貌似是沒有，然后CDH自己出了一個解決方案，這次2.4的更新直接自己帶了，還不錯，這樣就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通過ZKFC自動做故障切換。大概從2.4開始，Ha

2014-06-06 23:04:15

運維 ha hadoop

Hadoop運維記錄系列(十三)

記錄一下在2.x里面不會很常見的報錯。只是在測試集群中發(fā)生，生產(chǎn)集群大概很少有人會去重啟Namenode吧，特別是做了HA的。場景是在2.x里做好了Namenode HA，以Namespace URI方式訪問HDFS時，報錯，然后兩個Namenode貌似都是standby，然后歷史任務(wù)服務(wù)器無法啟動，HBase的Master也無法啟動。其實這個故障很簡單。2014-06-0517:20

2014-06-05 17:57:33

部署開發(fā)運維

namenode gc導(dǎo)致的故障一例

周末處理的一次故障，這里簡單記錄下。故障現(xiàn)象：6點1分左右開始，Hadoop集群異常，所有的hdfs操作都出現(xiàn)問題。幾十個job報以下錯FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException)

2014-05-29 00:10:25

海量數(shù)據(jù)解決思路之BitMap

一、概述本文將講述Bit-Map算法的相關(guān)原理,Bit-Map算法的一些利用場景，例如BitMap解決海量數(shù)據(jù)尋找重復(fù)、判斷個別元素是否在海量數(shù)據(jù)當中等問題.最后說說BitMap的特點已經(jīng)在各個場景的使用性。二、Bit-Map算法先看看這樣的一個場景：給一臺普通PC，2G內(nèi)存，要求處理一個包含40億個不重復(fù)并且沒有排過序的無符號的int整數(shù)，給出一個整數(shù)，問如果快速地判斷這個整數(shù)是

2014-04-28 17:19:38

mapreduce hadoop bitmap

cdh4.6.0升級測試2-distribute cache bug fix

distribute cache purge阻塞task的bug測試。cdh4.2.0:測試方法：local.cache.size=650因為cachedir size和count是存在內(nèi)存中的HashMap中的，把local.cache.size值設(shè)置的足夠小，在每次job運行時都會觸發(fā)delete distribute cache的操作。又因為是private的，是同步刪除，會造成task阻塞

2014-04-23 22:46:17

給剛玩Hadoop的朋友一些建議

隨著兩會中間央視新聞天天說大數(shù)據(jù)，很多人紛紛開始關(guān)注大數(shù)據(jù)和Hadoop以及數(shù)據(jù)挖掘和數(shù)據(jù)可視化了，我現(xiàn)在創(chuàng)業(yè)，遇到很多傳統(tǒng)數(shù)據(jù)行業(yè)往Hadoop上面去轉(zhuǎn)型的公司和個人，提了很多問題，大多數(shù)問題還都是差不多的。所以我想整理一些，也可能是很多人都關(guān)注的問題。關(guān)于Hadoop版本的選擇？目前為止，作為半只腳邁進Hadoop大門的人，我建議大家還是

2014-04-17 17:42:16

部署開發(fā)運維

Ubuntu下利用Myeclipse開發(fā)hadoop程序

開發(fā)的大環(huán)境是Ubuntu11.04，hadoop0.20.2，myeclipse9.1首先要安裝Myeclipse，在Ubuntu下安裝Myeclipse和windows環(huán)境下安裝的方法一樣，下載myeclipse-9.1-offline-installer-linux.run然后雙擊運行就ok了。接下來安裝Myeclipse的Hadoop插件，在hadoop的安裝路徑里找到hadoop的ecl

2014-04-13 21:37:44

hadoop中MapReduce多種join實現(xiàn)實例分析

一、概述對于RDBMS中的join操作大伙一定非常熟悉，寫sql的時候要十分注意細節(jié)，稍有差池就會耗時巨久造成很大的性能瓶頸，而在Hadoop中使用MapReduce框架進行join的操作時同樣耗時，但是由于hadoop的分布式設(shè)計理念的特殊性，因此對于這種join操作同樣也具備了一定的特殊性。本文主要對MapReduce框架對表之間的join操作的

2014-04-09 17:05:55

join mapreduce map join

su And sudo提權(quán)

1.su與sudo命令詳解命令：su功能：切換用戶語法：su [選項]... [-] [USER [ARG]...]選項：-, -l, --login：切換至目標用戶，其用戶權(quán)限，環(huán)境變量都會隨之切換至目標用戶；若無此選項，則只有用戶的權(quán)限切換至目標用戶-c, --command=COMMAND：以指定用戶的身份執(zhí)行一次命令，就立即退出-m, --preserve-environment：-m和-

2014-04-06 21:26:45

su sudo提權(quán)

impala集成kerberos問題一例

最近在折騰hadoop+kerberos，由于線上使用的組件比較多，遇到不少問題，記錄下來，碰到同樣問題的同學(xué)可以參考下。在hdfs+mapred+kerberos運行正常后，開始嘗試集成impala.其中statestore的參數(shù)：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

2014-03-21 23:05:20

hadoop之MapReduce自定義二次排序流程實例詳解

一、概述MapReduce框架對處理結(jié)果的輸出會根據(jù)key值進行默認的排序，這個默認排序可以滿足一部分需求，但是也是十分有限的。在我們實際的需求當中，往往有要對reduce輸出結(jié)果進行二次排序的需求。對于二次排序的實現(xiàn)，網(wǎng)絡(luò)上已經(jīng)有很多人分享過了，但是對二次排序的實現(xiàn)的原理以及整個MapReduce框架的處理流程的分析還是有非常大的出入，而且部分分析

2014-03-18 20:44:45

map端數(shù)據(jù)流向 hadoop二次排序

zabbix value type導(dǎo)致的斷圖一例

最近老畢在加hbase的監(jiān)控，發(fā)現(xiàn)生成的graph有斷圖的情況。。因為之前有次zabbix斷圖定位到了是proxy的性能問題，通過調(diào)整相應(yīng)的參數(shù)解決掉了。。再看這次的情況，發(fā)現(xiàn)有些item的graph是ok的，也就排除了proxy性能問題。。看來還是和item相關(guān)。整個數(shù)據(jù)鏈路是agent---proxy(db)----server(db)，從上游數(shù)據(jù)庫開始入手：1.找出正常的和斷圖

2014-03-15 03:17:15

zabbix 斷圖 v

Hadoop連載系列之四：數(shù)據(jù)收集分析系統(tǒng)Chukwa

系列前三篇文章中介紹了分布式存儲和計算系統(tǒng)Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。當Hadoop集群的數(shù)量達到1000+時，集群自身的信息將會大量增加。Apache開發(fā)出一個開源的數(shù)據(jù)收集和分析系統(tǒng)—Chukwa來處理Hadoop集群的數(shù)據(jù)。Chukwa有幾個非常吸引人的特點：它架構(gòu)清晰，部署簡單；收集的數(shù)據(jù)類型廣泛，

2014-03-14 11:18:27

記一則Hadoop DataNode OOM故障,以及解決方案

一、故障癥狀最近公司一個集群跑大任務(wù)時，datanode日志報DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread異常，然后計算節(jié)點上的DataNode直接掛掉。DataNode異常日志截圖如下：2014-03-06 03:41:05

2014-03-08 02:43:56

hadoop DataNode OO

寫幾個Hadoop部署用到的小腳本

最近拋棄非ssh連接的hadoop集群部署方式了，還是回到了用ssh key 驗證的方式上了。這里面就有些麻煩，每臺機器都要上傳公鑰。恰恰我又是個很懶的人，所以寫幾個小腳本完成，只要在一臺機器上面就可以做公鑰的分發(fā)了。首先是生成ssh key腳本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

2014-03-07 18:44:31

shell hadoop deploy

hadoop 1.X資源管理機制缺陷分析和解決方案

一、概述用hadoop1.x版本已經(jīng)有一年多了，在使用的過程中發(fā)現(xiàn)hadoop1.X的資源管理機制存在諸多缺陷，甚至在這種資源管理機制下會造成服務(wù)器資源的嚴重浪費，負載過高或者過低。本文主要介紹hdaoop1.X的資源管理機制，這種機制的缺點，總結(jié)一下自己在這方面遇到的實際問題，最后是自己對改進hadoop資源管理機制的一些想法。二、hadoop 1.x資源管理機制&n

2014-02-22 16:19:57

slot hadoop 資源管理

hadoop之MapReduce框架JobTracker端心跳機制分析(源碼分析第七篇)

一、小概述JobTracker端的心跳機制主要任務(wù)是處理TaskTracker發(fā)送過來的心跳信息，判斷TaskTrakcer是否存活、及時讓JobTracker獲取到各個節(jié)點上的資源使用情況和任務(wù)運行情況和為TaskTracker下達各種命令等功能。二、心跳處理過程詳解JobTracker端的心跳機制處

2014-02-17 17:20:01

心跳機制 heartbeat mapreduce

hadoop之MapReduce框架TaskTracker端心跳機制分析(源碼分析第六篇)

1、概述 MapReduce框架中的master/slave心跳機制是整個集群運作的基礎(chǔ)，是溝通TaskTracker和JobTracker的橋梁。TaskTracker周期性地調(diào)用心跳RPC函數(shù)，匯報節(jié)點和任務(wù)運行狀態(tài)信息。MapReduce框架中通過心跳機制可以實現(xiàn)給TaskTracker分配任務(wù)、使JobTracker能夠及時獲取各個節(jié)點的資源使用情況和任務(wù)運行狀態(tài)

2014-01-23 17:34:08

mapreduce hadoop heartbeart

hadoop作業(yè)初始化過程詳解（源碼分析第三篇）

（一）概述我們在上一篇blog已經(jīng)詳細的分析了一個作業(yè)從用戶輸入提交命令到到達JobTracker之前的各個過程。在作業(yè)到達JobTracker之后初始化之前，JobTracker會通過submitJob方法，為每個作業(yè)都創(chuàng)建一個JobInProgress對象(本文以后簡稱JIP)，用于維護作業(yè)的運行時信息以及監(jiān)控正在運行作業(yè)的運行狀態(tài)和進度。然后檢查提交作業(yè)的用戶是否

2014-01-09 16:26:22

集群 map hadoop

hadoop1.x作業(yè)提交過程分析（源碼分析第二篇）

（一）概述本文基于Hadoop1.0.0版本的源代進行分析，研究用戶從輸入作業(yè)提交命令到作業(yè)提交到j(luò)obTracker的整個流程，其中涉及到的組件JobClient和JobTracker的具體工作細節(jié)。（二）具體分析從源代碼來看，hadoop作業(yè)的提交過程是比較簡單的，主要包含了幾個過程：運行提交作業(yè)腳本、創(chuàng)建目錄、上傳作業(yè)文件以及產(chǎn)生Input

2014-01-06 21:59:15

作業(yè)提交 hadoop初始化 hadoop運行過程

hadoop作業(yè)分片處理以及任務(wù)本地性分析（源碼分析第一篇）

(一) Map輸入數(shù)據(jù)塊的切分算法（基于hadoop源碼 1.0.1）：（1）分片算法MapTask的個數(shù)據(jù)主要取決于InputFormat通過對輸入數(shù)據(jù)調(diào)用getSplit()方法分割為若干個分片數(shù)據(jù)，即InputSplit數(shù)。hadoop中切片大小主要由以下幾個因素：blockSize:塊大小minSize:最小分片大小，由參數(shù)ma

2014-01-02 17:02:59

hadoop 任務(wù)調(diào)度切片

Hadoop自動化運維之創(chuàng)建deb包

2014第一篇博文，將來也會逐步寫成一個系列，新年新氣象。將hadoop及其周邊生態(tài)系統(tǒng)deb/rpm化對于自動化運維來說意義重大，建立好整個生態(tài)的rpm和deb然后再創(chuàng)建本地yum或者apt的源，可大大簡化hadoop的部署和運維。實際上，cloudera和hortonworks都是這么做的。本來想把rpm和deb都寫了，不過估計篇幅不夠，還是分開吧，先從deb講起。deb創(chuàng)建比較容易一些，不需

2014-01-01 13:27:35

運維自動化 rpm

利用saltstack的api接口和modules實現(xiàn)實時監(jiān)控

前言：其實一說起實時監(jiān)控，我就有很多的感想 ~ 以前也做過幾個類似的全網(wǎng)流量監(jiān)控的項目，用過websocket的模式的，還有就是redis pubsub模式，還有就是從同事的nagios獲取流量數(shù)據(jù)（這個結(jié)果很郁悶，nagios加了Ndoutils插件后可以把數(shù)據(jù)存入到mysql里面，當時水平不到位，獲取的數(shù)據(jù)有斷鏈，原因不明）。這些方法也都

2013-12-27 08:23:02

saltstack m saltstack a saltstack

煮酒品茶：大晚上的，有氣無力的呻吟，讓你深深的感覺聽我的聲音是一種折磨。沒錄好，筆記本聲音也沒錄好，將就著聽吧。哈哈# Install Hadoop Master# DownLoad Hadoop and Jdk packetsOne : stop all hosts Selinux and iptables.# service iptables stop# chkconfig iptables

2013-11-12 11:24:28

Hadoop虛擬化擴展(HVE)之資源擴展技術(shù)

背景在虛擬化的云環(huán)境中，Hadoop可以有更好的“彈性”，這是云計算的一個重要優(yōu)勢，例如亞馬遜的EMR(ElasticMapReduce)服務(wù), 用戶可以迅速的在云中根據(jù)需求部署一個Hadoop集群，運行計算任務(wù)，并且用戶可以向集群動態(tài)的添加或刪除計算節(jié)點。這里存在著一個潛在問題，Haodop的數(shù)據(jù)節(jié)點并非天生的“有彈性”，刪除一個數(shù)據(jù)節(jié)點意味著需要重新復(fù)制存儲在這個節(jié)點的數(shù)據(jù)，這是一個緩慢的過程

2013-11-06 16:38:35

hadoop vSphere 虛擬化擴展;資源管理

深入Hadoop節(jié)點部署的策略

簡介每個Hadoop集群都包括不止一個節(jié)點。這些節(jié)點可以按功能分成幾個組，比如master組，worker組，client組等等。每個組里面的節(jié)點都有不同的資源要求，比如CPU，內(nèi)存，存儲。在虛擬數(shù)據(jù)中心（DataCenter）中有一個或多個虛擬集群（Cluster），每個虛擬集群中有一個或多個主機（Host）。節(jié)點部署是在保證每個節(jié)點資源需求的前提下，按照一定策略將Hadoop集群中的所有節(jié)點部

2013-10-28 14:14:43

hadoop vSphere 大數(shù)據(jù)

0.16版本salt的安裝與日常應(yīng)用

現(xiàn)在分享一下我對0.16版本salt的學(xué)習(xí)筆記一、安裝1、在ubuntu系統(tǒng)安裝添加源debhttp://debian.saltstack.com/debian wheezy-saltstack main把這個源放到/etc/apt/sources.list更新源apt-get update安裝服務(wù)端或者客戶端apt-get installsalt-masterapt-get installsal

2013-10-21 10:35:28

salt安裝 salt應(yīng)用 salt日常命令

Hadoop運維記錄系列(十一)

記錄一些Hive的優(yōu)化點，和能夠提升的效率差異。Hive是目前應(yīng)用最多最廣的SQL on Hadoop工具，近期很多專業(yè)的大數(shù)據(jù)公司推出了很多新的，基于列式或者內(nèi)存熱數(shù)據(jù)的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最廣的SQL on Hadoop的工具。在以前淘寶羅李的報告中，淘寶90%的業(yè)務(wù)跑在Hive上面。暴風(fēng)影音的比例更高一些，大概95%以上

2013-09-12 18:19:35

系統(tǒng)性能調(diào)優(yōu)

Hadoop運維記錄系列(十)

昨天同事遇到一個hadoop故障，找了半天沒看出問題，問到我這里，花了一會解決了一下，估計這是我給暴風(fēng)的集群解決的最后的故障了，以后就不定給誰解決問題去了。只截下來了Namenode的報錯Log，Datanode的刷屏刷過去了，不過都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

2013-09-04 16:31:43

記錄運維 hadoop

Pig自定義過濾UDF和加載UDF

Pig是一種數(shù)據(jù)流編程語言，由一系列操作和變換構(gòu)成，每一個操作或者變換都對輸入進行處理，然后產(chǎn)生輸出結(jié)果，整體操作表示一個數(shù)據(jù)流。Pig的執(zhí)行環(huán)境將數(shù)據(jù)流翻譯為可執(zhí)行的內(nèi)部表示，在Pig內(nèi)部，這些變換操作被轉(zhuǎn)換為一系列的MapReduce作業(yè)。 Pig自身有許多個方法，有時候需要我們自己定制特定的處

2013-09-04 09:26:02

Pig自定義過濾UDF 加載UDF

MapReduce工作的基本流程

Hadoop0.2之前版本和之后版本在Job中有很大的改進，本次采用的版本是Hadoop1.1.2版本。現(xiàn)在作為作業(yè)驅(qū)動器，可以直接繼承Configured以及實現(xiàn)Tool，這種方式可以很便捷的獲取啟動時候命令行中輸入的作業(yè)配置參數(shù)，常規(guī)的Job啟動如下：public class SortByHash extend

2013-09-02 20:58:46

工作流程 mapreduce hadoop

datanode單塊盤故障導(dǎo)致節(jié)點失效之腳本解決

問題：在hadoop的1.2.0中由于單個磁盤故障導(dǎo)致datanode節(jié)點失效，生產(chǎn)環(huán)境中datanode節(jié)點大多都有多塊磁盤，我們現(xiàn)在需要一種方法，讓datanode不會被單塊磁盤的故障導(dǎo)致整個節(jié)點失效。解決方法及適用場景： 1、修改hadoop源代碼(介個在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，將故障盤的掛載點刪除并重啟(推薦在手動部署的hadoop

2013-08-29 11:59:16

datanode hadoop.shel

Hadoop數(shù)據(jù)分析平臺搭建

一．配置安裝環(huán)境1> 在虛擬機Vmware上搭建三臺Red Hat Enterprise linux，其中一臺為master，另外兩臺位slaves。2> 下載相關(guān)的軟件，如java jdk、hadoop-0.20.2等。二．安裝和配置步驟1> 要是hadoop能過正常的免密碼在各個節(jié)點中連接傳輸數(shù)據(jù)，最重要的是配置SSH，生成密鑰。2> jdk的安裝，修改/etc/pro

2013-08-27 23:58:05

上一頁 1 2 3 4 5 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

国产一级淫片a| 日韩亚洲在线视频| 亚洲老妇色熟女老太| 国产情侣一区| 色哟哟入口国产精品| 中日韩av在线播放| 黄色成人在线网| 91丝袜美腿高跟国产极品老师 | 激情久久婷婷| 亚洲香蕉成人av网站在线观看| gai在线观看免费高清| 爱看av在线入口| 国产精品视频一区二区三区不卡| 97人人香蕉| 免费看一级视频| 中文字幕一区二区av | 国产黄色在线| 国产伦精品一区二区三区视频青涩| 午夜精品一区二区三区视频免费看| 国产成人精品无码免费看夜聊软件| 中文字幕日韩亚洲| 欧美性jizz18性欧美| 宅男在线精品国产免费观看| 日本天堂影院在线视频| 国产在线精品一区在线观看麻豆| 庆余年2免费日韩剧观看大牛| 夫妻性生活毛片| 国产精品一在线观看| 亚洲成人黄色网址| 午夜xxxxx| 456亚洲精品成人影院| 亚洲国产精品久久久久秋霞影院| 性欧美精品一区二区三区在线播放 | 男人久久精品| 成人h动漫精品一区二| 91精品视频在线| 最近中文字幕免费观看| 国产日韩1区| 欧美—级a级欧美特级ar全黄| 青青青视频在线播放| 免费成人网www| 亚洲国产天堂网精品网站| 欧美污在线观看| 91麻豆精品| 精品污污网站免费看| 成年人网站大全| 成人美女视频| 日韩欧美成人网| 日本男女交配视频| 日韩三级电影视频| 亚洲美女屁股眼交3| 国产精品h视频| 欧美jizz18性欧美| 亚洲欧洲精品成人久久奇米网| 视频一区不卡| 69av亚洲| 亚洲视频在线一区二区| 久久av秘一区二区三区| 成人免费在线| 亚洲最大成人网4388xx| 欧美人与动牲交xxxxbbbb| 污视频在线免费观看网站| 亚洲美女精品一区| 国产爆乳无码一区二区麻豆| 欧美videosex性欧美黑吊| 亚洲精选一二三| www.av91| 美女露胸视频在线观看| 色悠久久久久综合欧美99| 国产性xxxx18免费观看视频| 中文一区一区三区高中清不卡免费| 精品电影在线观看| 久久综合久久色| 黄色欧美视频| 欧美精品在线观看播放| 4438x全国最大成人| 91久久精品无嫩草影院| 亚洲成人黄色网| 久久av无码精品人妻系列试探| 国产免费av一区二区三区| 最近2019年中文视频免费在线观看| 蜜桃av乱码一区二区三区| 日韩免费特黄一二三区| 美女福利精品视频| 国产第100页| 噜噜噜躁狠狠躁狠狠精品视频| 热久久免费视频精品| 在线视频播放大全| 丰满放荡岳乱妇91ww| 久久大片网站| 麻豆系列在线观看| 亚洲国产色一区| 久久精品午夜福利| 国产激情综合| 精品亚洲国产成av人片传媒| 一级片黄色录像| 欧美一区二区| 欧美一级大片视频| 国产三区在线播放| 久久综合久色欧美综合狠狠| 亚洲五月六月| 女厕盗摄一区二区三区| 欧美色欧美亚洲另类二区| 精品人妻一区二区三| 国产一区二区三区探花| 欧美日韩成人在线观看| 国产精品va无码一区二区三区| 久久国产精品露脸对白| 精品一区二区久久久久久久网站| 中文字幕在线播放| 婷婷六月综合亚洲| 亚洲精品mv在线观看| 羞羞色国产精品网站| 久久国产精品久久精品| av一级在线观看| 成人午夜av在线| 亚洲一区三区电影在线观看| 日本在线播放一二三区| 91精品国产日韩91久久久久久| 少妇精品一区二区三区| 国户精品久久久久久久久久久不卡| 国产精品91久久| 欧美性受xxxx狂喷水| 中文字幕日韩欧美一区二区三区| 成年网站在线免费观看| 成人精品毛片| 久久综合免费视频| 久草视频在线免费| 久久这里只有精品6| 日韩一区二区高清视频| 在线视频成人| 色婷婷**av毛片一区| 中文字幕在线看人| 99视频有精品| 国产一级做a爰片久久毛片男| 96视频在线观看欧美| 中日韩美女免费视频网址在线观看 | 亚洲欧美另类视频| 亚洲欧美乱综合| 爱爱爱爱免费视频| 久久精品国产www456c0m| 国产精品草莓在线免费观看| 五月婷中文字幕| 午夜精品福利在线| 亚洲调教欧美在线| 亚洲青色在线| 国内成+人亚洲| 91超碰在线播放| 亚洲成人教育av| 国产在线视频卡一卡二| 成人午夜视频在线观看| 2022中文字幕| 99a精品视频在线观看| 超碰日本道色综合久久综合| 一级特黄aaa大片在线观看| 国产欧美日韩三区| 鲁一鲁一鲁一鲁一av| 欧美天天综合| 国产美女精品视频| 黄色av免费在线| 91精品国产91久久综合桃花| 三级全黄做爰视频| 久99久精品视频免费观看| 伊人久久大香线蕉成人综合网| 激情久久一区二区| 精品国产一区二区三区在线观看 | 日韩欧美国产麻豆| 青青草激情视频| 成人精品免费看| 成人免费在线小视频| 久久99国产精一区二区三区| 欧美综合一区第一页| av基地在线| 欧美一区二区三区在线电影| 欧美日韩国产精品一区二区三区| 成人app下载| 日本三区在线观看| 91精品在线观看国产| 国产成人精品一区二区三区福利| 精精国产xxxx视频在线播放| 亚洲区在线播放| 国产又粗又猛又黄又爽| 亚洲影院久久精品| 精品人妻无码一区二区三区| 久久福利资源站| 隔壁人妻偷人bd中字| 久久av免费| 91精品在线一区| 九九精品调教| 亚洲图片欧洲图片av| 国产又粗又猛又爽又黄91| 亚洲成人动漫精品| a资源在线观看| 高清国产一区二区| 国产a级片免费观看| 亚洲欧洲日韩| 欧美一级片免费观看| 性欧美video另类hd尤物| 亚洲**2019国产| www免费网站在线观看| 欧美大片在线观看一区二区| 亚洲欧美日韩激情| 亚洲在线视频免费观看| 青娱乐国产视频| av不卡免费在线观看| 黄大色黄女片18第一次| 一本久道综合久久精品| 尤物一区二区三区| 天天躁日日躁成人字幕aⅴ| 国产人妖伪娘一区91| 国产在线观看www| 久热精品在线视频| 国产视频网址在线| 亚洲国产成人爱av在线播放| 91九色蝌蚪91por成人| 疯狂欧美牲乱大交777| 欧美人妻一区二区| 中文字幕一区二区三区视频 | 久久免费视频66| 91在线免费观看网站| 99只有精品| 青青草成人在线| 91豆花视频在线播放| 免费不卡在线观看av| aaa在线观看| 亚洲欧美日韩图片| 手机看片一区二区三区| 欧美一区二区精品久久911| 国产情侣小视频| 富二代精品短视频| 91香蕉在线视频| 亚洲午夜久久久| 日本精品人妻无码77777| 国产精品丝袜在线| 欧美另类z0zx974| 91免费看片在线观看| 久久免费精品国产| 国产91色综合久久免费分享| 性生活在线视频| 国模大尺度一区二区三区| 亚洲欧美自拍另类日韩| 日韩成人免费在线| 亚洲精品高清无码视频| 麻豆精品91| 18禁免费无码无遮挡不卡网站| 亚洲国产高清一区| 国产欧美日韩网站| 女主播福利一区| 少妇高潮流白浆| 中文字幕一区二区精品区| 在线视频欧美一区| 91国语精品自产拍| 日日噜噜夜夜狠狠久久丁香五月| 99精品一区| 欧洲xxxxx| 欧美精品偷拍| 一卡二卡三卡视频| 999亚洲国产精| 国产在线青青草| 久久亚洲二区| 艹b视频在线观看| 韩国av一区二区三区四区| 91视频这里只有精品| 国产精品18久久久久| 肉丝美足丝袜一区二区三区四| 国产成人精品1024| 国产又黄又粗又猛又爽的视频| 不卡视频免费播放| 一卡二卡三卡四卡| 中文字幕欧美三区| 99久久99久久精品国产| 亚洲在线观看免费视频| 99精品在线播放| 欧美熟乱第一页| 99热这里只有精| 欧美精品一区二区三区蜜臀| 天堂在线免费av| 一本一道久久a久久精品逆3p| 日本高清在线观看wwwww色| 美女久久久久久久| 国产一二三在线| 国产精品日日摸夜夜添夜夜av| 国产精品国产三级在线观看| 国产高清一区视频| 极品美女一区二区三区| 在线观看免费黄色片| 亚洲黄页一区| 婷婷激情四射五月天| 国产黄人亚洲片| 美女久久久久久久久久| 综合久久综合久久| 日本三级黄色大片| 欧美综合久久久| 91无套直看片红桃| 亚洲爱爱爱爱爱| 在线毛片网站| 久久人人爽人人爽人人片av高清| 精品成人免费一区二区在线播放| 亚洲aa在线观看| 亚洲三级网页| 日本中文字幕一级片| 久久一二三四| 亚洲精品成人在线播放| 波多野结衣中文字幕一区二区三区| 亚洲人成人无码网www国产| 一区二区成人在线观看| 亚洲男人天堂网址| 亚洲成人999| 日本在线免费播放| 秋霞成人午夜鲁丝一区二区三区| 警花av一区二区三区| 欧美性大战久久久久| 国产精品草草| 91高清国产视频| 久久久蜜桃精品| 国产精品成人久久| 337p亚洲精品色噜噜噜| 国产青青草在线| 午夜精品久久久久久久白皮肤 | 午夜在线精品偷拍| 丰满少妇一区二区三区专区| 国产精品欧美一区二区三区| a v视频在线观看| 日韩丝袜美女视频| 米奇精品一区二区三区| 国产精品成人国产乱一区| 极品国产人妖chinesets亚洲人妖激情亚洲另类图片区小说区 | 亚洲一卡二卡在线| 亚洲视频欧美视频| 午夜激情在线播放| 国产亚洲欧美一区二区三区| 欧美在线三区| 国产欧美一区二| 国产精品每日更新在线播放网址| 一级片中文字幕| 精品99久久久久久| 国精一区二区三区| 亚洲永久在线观看| 91精品蜜臀一区二区三区在线| 亚洲欧洲日本精品| 国产欧美视频一区二区| 黄色在线免费观看| 国产婷婷97碰碰久久人人蜜臀| 国产乱妇乱子在线播视频播放网站| 亚洲精品日韩av| 亚洲精品国产首次亮相| 五月天开心婷婷| 亚洲欧洲精品一区二区三区不卡| 国产女优在线播放| 日韩中文av在线| 热久久久久久| 欧洲xxxxx| 粉嫩在线一区二区三区视频| 久久视频免费在线观看| 欧美精品一区二区三区在线| bl视频在线免费观看| 国产午夜精品在线| 亚洲视频播放| 日本黄色特级片| 欧美午夜片在线观看| 欧美日本一道| 91嫩草免费看| 亚洲精品偷拍| 波多野结衣一本| 欧美视频完全免费看| 国产网友自拍视频导航网站在线观看| 成人福利网站在线观看11| 欧美.日韩.国产.一区.二区| 第一页在线视频| 午夜在线电影亚洲一区| 久草视频在线看| 国产区精品视频| 黄色精品一区| 在线免费看黄视频| 欧美二区三区91| 丁香花电影在线观看完整版| 久久精品午夜一区二区福利| 爽爽淫人综合网网站| 在线观看黄网址| 亚洲成av人乱码色午夜| 桃花岛成人影院| 中文字幕中文字幕一区三区| 懂色av中文字幕一区二区三区| 国产性xxxx高清| 色偷偷av一区二区三区| 91欧美极品| 一级在线免费视频| 亚洲自拍偷拍麻豆| 国产h在线观看| 91久久伊人青青碰碰婷婷| 米奇777在线欧美播放| 三级全黄做爰视频| 日韩禁在线播放| 精品国产一区二区三区性色av| 成人免费aaa| 1024成人网色www| 污污视频在线免费看| 成人国产在线视频| 亚洲专区在线| 中文字幕五月天|