搭建Hadoop2.6.0+Eclipse开发调试环境

搭建Hadoop2.6.0+Eclipse开发调试环境

上一篇在Win7虚拟机下搭建了Hadoop2.6.0伪分布式环境(见 )。为了开发调试方便，本文介绍在Eclipse下搭建开发环境，连接和提交任务到Hadoop集群。

1. 环境

Eclipse版本Luna 4.4.1

安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到eclipse/plugins目录即可。

2. 配置插件

2.1 配置hadoop主目录

解压缩hadoop-2.6.0.tar.gz到C:\Downloads\hadoop-2.6.0，在eclipse的Windows->Preferences的Hadoop Map/Reduce中设置安装目录。

2.2 配置插件

打开Windows->Open Perspective中的Map/Reduce，在此perspective下进行hadoop程序开发。

   

打开Windows->Show View中的Map/Reduce Locations，如下图右键选择New Hadoop location…新建hadoop连接。

确认完成以后如下，eclipse会连接hadoop集群。

如果连接成功，在project explorer的DFS Locations下会展现hdfs集群中的文件。

 

3. 开发hadoop程序

3.1 程序开发

开发一个Sort示例，对输入整数进行排序。输入文件格式是每行一个整数。

 

 1