三臺(tái)主機(jī)建立Hadoop小集群
部署環(huán)境：
OS：Redhat 5.5 Enterprise
JDK：jdk1.6.0_32
Hadoop：Hadoop-0.20.2
VMWare：7.0
節(jié)點(diǎn)安排及網(wǎng)絡(luò)拓?fù)洌?/strong>
節(jié)點(diǎn)類型 節(jié)點(diǎn)IP 節(jié)點(diǎn)hostname
master節(jié)點(diǎn) 192.168.40.5 master
slave節(jié)點(diǎn) 192.168.40.5 master(此時(shí)，master既是master節(jié)點(diǎn)，也是slave節(jié)點(diǎn))
192.168.40.6 salve1
192.168.40.7 slave2
secondaryName節(jié)點(diǎn)192.168.40.5 master(此時(shí)，master既是master節(jié)點(diǎn)，也是slave節(jié)點(diǎn)，也是secondaryNameNode)
配置步驟：
一、網(wǎng)絡(luò)配置
首先關(guān)閉三臺(tái)虛擬機(jī)的防火墻，步驟可參考：關(guān)閉防火墻
先用VMWare安裝三臺(tái)虛擬機(jī)（可以先安裝一臺(tái)，然后clone兩臺(tái)），按照節(jié)點(diǎn)安排及網(wǎng)絡(luò)拓?fù)渑渲镁W(wǎng)絡(luò)，先配置master節(jié)點(diǎn)的網(wǎng)絡(luò)：
① 靜態(tài)網(wǎng)絡(luò)IP配置見VMware Redhat網(wǎng)絡(luò)配置，分別將三臺(tái)虛擬機(jī)的IP進(jìn)行設(shè)置
② 修改主機(jī)名：vi /etc/hosts(解析IP要用)，添加
192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2
③ 按照此過程及相同數(shù)據(jù)(除了IP地址不同)對(duì)三臺(tái)虛擬機(jī)進(jìn)行配置
二、 安裝jdk
Hadoop 是用java開發(fā)的，Hadoop的編譯及mapreduce的運(yùn)行都需要使用JDK，所以JDK是必須安裝的
① 下載jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html
② 在用戶根目錄下，建立bin文件夾：mkdir ~/bin（也可放在其他處，個(gè)人習(xí)慣而已）
③ 改變執(zhí)行權(quán)限：chmod u+x jdk-6u26-linux-i586.bin
④ 執(zhí)行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路確定
⑤ 配置環(huán)境變量：vi ~/.bash_profile,添加：
- export JAVA_HOME=/root/bin/jdk1.6.0_32
- export PATH=$PATH:$JAVA_HOME/bin
⑥ 使profile文件生效：source ~/.bash_profile
⑦ 驗(yàn)證是否配置成功：which java
[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可輸入java -version, java, javac進(jìn)一步確定
⑧ 分別相同配置另外兩臺(tái)主機(jī)
- <JDK Installation End>
三、建立ssh互信
hadoop 需要通過ssh互信來啟動(dòng)slave里表中各個(gè)主機(jī)的守護(hù)進(jìn)程，所以SSH是必須安裝的（redhat 5.5 Enterprise 以默認(rèn)安裝）。但是是否建立ssh互信（即無密碼登陸）并不是必須的，但是如果不配置，每次啟動(dòng)hadoop，都需要輸入密碼以便登錄到每臺(tái)機(jī)器的Datanode上，而一般的hadoop集群動(dòng)輒數(shù)百或數(shù)千臺(tái)機(jī)器，因此一般來說都會(huì)配置ssh互信。
① 生成密鑰并配置ssh無密碼登陸主機(jī)(在master主機(jī))
- ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
- cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
② 將authorized_keys文件拷貝到兩臺(tái)slave主機(jī)
- scp authorized_keys slave1:~/.ssh/
- scp authorized_keys slave2:~/.ssh/
③ 檢查是否可以從master無密碼登陸slave機(jī)
ssh slave1(在master主機(jī)輸入) 登陸成功則配置成功，exit退出slave1返回master
四、配置Hadoop
① 下載：點(diǎn)擊到下載頁面，選擇hadoop-0.20.2.tar.gz
② 放到~/bin下解壓： tar -xzvf hadoop-0.20.2.tar.gz
③ 解壓后進(jìn)入：~/bin/hadoop-0.20.2/conf/，修改配置文件：
修改hadoop-env.sh:
export JAVA_HOME=/root/bin/jdk1.6.0_32轉(zhuǎn)載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有這一行，默認(rèn)是被注釋的，只需要把注釋去掉，并且把JAVA_HOME 改成你的java安裝目錄即可
修改core-site.xml
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://master:9000</value>
- </property>
- <property>
- <name>Hadoop.tmp.dir</name>
- <value>/tmp/hadoop-root</value>
- </property>
- </configuration>
轉(zhuǎn)載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
注釋一：hadoop分布式文件系統(tǒng)文件存放位置都是基于hadoop.tmp.dir目錄的，namenode的名字空間存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode數(shù)據(jù)塊的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以設(shè)置好hadoop.tmp.dir目錄后，其他的重要目錄都是在這個(gè)目錄下面，這是一個(gè)根目錄。
注釋二：fs.default.name,設(shè)置namenode所在主機(jī)，端口號(hào)是9000
注釋三：core-site.xml 對(duì)應(yīng)有一個(gè)core-default.xml, hdfs-site.xml對(duì)應(yīng)有一個(gè)hdfs-default.xml,mapred-site.xml對(duì)應(yīng)有一個(gè)mapred-default.xml。這三個(gè)defalult文件里面都有一些默認(rèn)配置，現(xiàn)在我們修改這三個(gè)site文件，目的就覆蓋default里面的一些配置
修改hdfs-site.xml
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>3</value>
- </property>
- </configuration>
dfs.replication，設(shè)置數(shù)據(jù)塊的復(fù)制次數(shù)，默認(rèn)是3，如果slave節(jié)點(diǎn)數(shù)少于3，則寫成相應(yīng)的1或者2
修改mapred-site.xml
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>http://master:9001</value>
- </property>
- </configuration>
mapred.job.tracker，設(shè)置jobtracker所在機(jī)器，端口號(hào)9001
修改masters
master
雖然masters內(nèi)寫的是master，但是個(gè)人感覺，這個(gè)并不是指定master節(jié)點(diǎn)，而是配置secondaryNameNode
修改slaves
master
slave1
slave2
配置了集群中所有slave節(jié)點(diǎn)
④ 添加hadoop環(huán)境變量，并 source ~/.bash_profile使之生效
- export JAVA_HOME=/root/bin/jdk1.6.0_32
- export HADOOP_HOME=/root/bin/hadoop-0.20.2
- export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
⑤ 將已經(jīng)配置好的hadoop-0.20.2，分別拷貝到另外兩臺(tái)主機(jī)，并做相同配置
⑥ 此時(shí)，hadoop的集群配置已經(jīng)完成，輸入hadoop，則可看到hadoop相關(guān)的操作
- [root@master ~]# hadoop
- Usage: hadoop [--config confdir] COMMAND
- where COMMAND is one of:
- namenode -format format the DFS filesystem
- secondarynamenode run the DFS secondary namenode
- namenode run the DFS namenode
- datanode run a DFS datanode
- dfsadmin run a DFS admin client
- mradmin run a Map-Reduce admin client
- fsck run a DFS filesystem checking utility
- fs run a generic filesystem user client
- balancer run a cluster balancing utility
- jobtracker run the MapReduce job Tracker node
- pipes run a Pipes job
- tasktracker run a MapReduce task Tracker node
- job manipulate MapReduce jobs
- queue get information regarding JobQueues
- version print the version
- jar <jar> run a jar file
- distcp <srcurl> <desturl> copy file or directories recursively
- archive -archiveName NAME <src>* <dest> create a hadoop archive
- daemonlog get/set the log level for each daemon
- or
- CLASSNAME run the class named CLASSNAME
- Most commands print help when invoked w/o parameters.
⑦ 此時(shí)，首先格式化hadoop
在命令行里執(zhí)行，hadoop namenode -format
⑧ 啟動(dòng)hadoop
在命令行里執(zhí)行，start-all.sh，或者執(zhí)行start-dfs.sh,再執(zhí)行start-mapred.sh
⑨ 輸入jps，查看啟動(dòng)的服務(wù)進(jìn)程
master節(jié)點(diǎn)：[root@master ~]# jps
25429 SecondaryNameNode
25500 JobTracker
25201 NameNode
25328 DataNode
18474 Jps
25601 TaskTracker
slave節(jié)點(diǎn)：[root@slave1 ~]# jps
4469 TaskTracker
4388 DataNode
29622 Jps
如上顯示，則說明相應(yīng)的服務(wù)進(jìn)程都啟動(dòng)成功了。
圈10(額，像①一樣的圈出不來了(⊙o⊙)) 查看hdfs分布式文件系統(tǒng)的 文件目錄結(jié)構(gòu)
hadoop fs -ls /
此時(shí)發(fā)現(xiàn)為空，因?yàn)榇_實(shí)什么也沒有，運(yùn)行一下命令，則可創(chuàng)建一個(gè)文件夾：
hadoop fs -mkdir /newDir
再次執(zhí)行hadoop fs -ls /，則會(huì)看到newDir文件夾，關(guān)于hadoop fs 命令，參見：HDFS 命令
圈11 運(yùn)行hadoop 類似hello world的程序
本來，都是以word count來運(yùn)行的，但是還得建文件夾之類的，有一個(gè)更簡(jiǎn)單的，就是example中的計(jì)算π值的程序，我們來計(jì)算一下，進(jìn)入hadoop目錄，運(yùn)行如下：
- [root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2
- Number of Maps = 4
- Samples per Map = 2
- Wrote input for Map #0
- Wrote input for Map #1
- Wrote input for Map #2
- Wrote input for Map #3
- Starting Job
- 12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4
- 12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005
- 12/05/20 09:45:20 INFO mapred.JobClient: map 0% reduce 0%
- 12/05/20 09:45:30 INFO mapred.JobClient: map 50% reduce 0%
- 12/05/20 09:45:31 INFO mapred.JobClient: map 100% reduce 0%
- 12/05/20 09:45:45 INFO mapred.JobClient: map 100% reduce 100%
- 12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005
- 12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18
- 12/05/20 09:45:47 INFO mapred.JobClient: Job Counters
- 12/05/20 09:45:47 INFO mapred.JobClient: Launched reduce tasks=1
- 12/05/20 09:45:47 INFO mapred.JobClient: Launched map tasks=4
- 12/05/20 09:45:47 INFO mapred.JobClient: Data-local map tasks=4
- 12/05/20 09:45:47 INFO mapred.JobClient: FileSystemCounters
- 12/05/20 09:45:47 INFO mapred.JobClient: FILE_BYTES_READ=94
- 12/05/20 09:45:47 INFO mapred.JobClient: HDFS_BYTES_READ=472
- 12/05/20 09:45:47 INFO mapred.JobClient: FILE_BYTES_WRITTEN=334
- 12/05/20 09:45:47 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=215
- 12/05/20 09:45:47 INFO mapred.JobClient: Map-Reduce Framework
- 12/05/20 09:45:47 INFO mapred.JobClient: Reduce input groups=8
- 12/05/20 09:45:47 INFO mapred.JobClient: Combine output records=0
- 12/05/20 09:45:47 INFO mapred.JobClient: Map input records=4
- 12/05/20 09:45:47 INFO mapred.JobClient: Reduce shuffle bytes=112
- 12/05/20 09:45:47 INFO mapred.JobClient: Reduce output records=0
- 12/05/20 09:45:47 INFO mapred.JobClient: Spilled Records=16
- 12/05/20 09:45:47 INFO mapred.JobClient: Map output bytes=72
- 12/05/20 09:45:47 INFO mapred.JobClient: Map input bytes=96
- 12/05/20 09:45:47 INFO mapred.JobClient: Combine input records=0
- 12/05/20 09:45:47 INFO mapred.JobClient: Map output records=8
- 12/05/20 09:45:47 INFO mapred.JobClient: Reduce input records=8
- Job Finished in 28.952 seconds
- Estimated value of Pi is 3.50000000000000000000
計(jì)算PI值為3.5，還算靠近，至于輸出log日志，就不介紹了，以后學(xué)的稍微深入，可多做了解。
Hadoop 三節(jié)點(diǎn)集群的配置就介紹到這里，接下來，會(huì)介紹一下如何在windows中遠(yuǎn)程連接hadoop，并配置eclipse來進(jìn)行MapReduce的開發(fā)和調(diào)試。
原文鏈接：http://www.cnblogs.com/shitouer/archive/2012/05/21/2511060.html
【編輯推薦】
- Apache .htaccess文件的8個(gè)用法
- Hadoop 從Yahoo向Google的技術(shù)轉(zhuǎn)折
- Hadoop集群與Hadoop性能優(yōu)化
- Facebook實(shí)時(shí)信息系統(tǒng)：HBase每月存儲(chǔ)1350億條信息
