Windows下輕松實現Hadoop開發環境安全配置
本節接著上節向大家介紹Windows下基于Eclipse的Hadoop開發環境完全配置的方法步驟，上節介紹了配置的準本工作，接下來該開始配置Hadoop了，這里向大家簡單分享一下，希望本節的學習可以讓你對Hadoop開發環境有新的理解。
Windows下基于Eclipse的Hadoop開發環境完全配置
一，解壓文件
打開一個cygwin，輸入以下命令
cd.
explorer.
會彈出一個新窗口，把原來下載的hadoop壓縮文件放到里面，并解壓。個人認為，其實不一定要放到cygwin的用戶根目錄下，沒試過。
二，配置Hadoop
打開解壓出來的文件夾，在hadoop-0.19.2\conf目錄下有一個hadoop-site.xml文件，打開，在原有的
<configuration></configuration>間插入
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9100</value>
- </property>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9101</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
保存。
三，格式化NameNode
打開一個cygwin，轉到hadoop目錄下，如果按照前面的解壓，直接用cdhadoop-0.19.2就可以了，接著輸入以下命令：
mkdirlogs
bin/hadoopnamenode-format
四，安裝Eclipse插件
因為本節介紹的Hadoop開發環境配置是基于Eclipse的，所以需要安裝Eclipse插件。打開解壓后的文件夾，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目錄下，重啟eclipse，在Window-》OpenPerspective-》other，彈出的窗口中應該有一項Map/Reduce項，代表安裝成功了。如果沒有的話，把eclipse下的configuration\org.eclipse.update文件夾刪了，再重啟eclipse。
五，啟動Hudoop集群
啟動五個cygwin。
在***中啟動NameNode，執行：
cdhadoop-0.19.2
bin/hadoopnamenode
在第二個中啟動SecondaryNameNode，執行：
cdhadoop-0.19.2
bin/hadoopsecondarynamenode
第三個中啟動jobtracker執行：
cdhadoop-0.19.2
bin/hadoopjobtracker
第四個中啟動datanode，執行：
cdhadoop-0.19.2
bin/hadoopdatanode
***一個啟動tasktracker，執行：
cdhadoop-0.19.2
bin/hadooptasktracker
六，在Eclipse中配置Hadoop開發環境
啟動eclipse，轉到Map/ReducePerspective,在上圖的Map/ReduceLocations里，新建一個Location，填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默認
七，上傳文件到HDFS
打開一個cygwin，執行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
這時，在eclipse的Projectexplorer的DFSlocation中，應該能反應變化，沒有的話，reconnect一下。Hadoop開發環境安全配置的下一步該創建工程了。
八，創建工程
啟動Eclipse，右鍵點擊ProjectExplorer窗口，選擇New->Project..找到Map/ReduceProject，點Next，輸入名字。
點擊下面的ConfigHadoopInstallDirectiory，輸入Hadoop的目錄，如：C:\cygwin\home\User\hadoop-0.19.2
右鍵點擊新創建的Hadoop工程，選擇New->Other轉到Map/Reduce文件夾,選擇MapReduceDriver然后點擊Next，輸入名字，點擊Finish。
新創建了一個文件，但是有錯誤，把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
換為
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右鍵點擊文件，選擇RunAs-->RunonHadoop.在彈出的窗口中選擇"Chooseexistinghadooplocation",然后選擇剛才創建的localhost，點Finish就開始運行了。至此本節關于Hadoop開發環境安全配置就完成了。
【編輯推薦】
- Hadoop Hdfs配置過程全程報道
- Hadoop開發環境在Windows下的安全配置如何實現？
- 專家講解 Hadoop:HBASE松散數據存儲設計
- 兩種模式運行Hadoop分布式并行程序
- Hadoop概念及其用法專家講解
