(3)windows下hadoop+eclipse环境搭建,hadoopeclipse
(3)windows下hadoop+eclipse环境搭建,hadoopeclipse
(1)环境说明
hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。
(2)安装hadoop-eclipse-plugin-1.1.2.jar插件
hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。
下载好后,将hadoop-eclipse-plugin-1.1.2.jar放到eclipse安装目录下的plugins文件夹下。然后重启eclipse。
在window菜单下选择prefernece选项,可以看到右边出现Hadoop Map/Reduce选项,说明插件安装成功。
(3)添加hadoop文件夹路径
首相将下载好的hadoop-1.1.2.tar.gz源码包解压到某一个磁盘上。
启动eclipse,点击window菜单栏选择prefernece选项,在左侧点击Hadoop Map/Reduce选项,在右边的输入框输入你解压的hadoop-1.1.2.tar.gz文件夹位置即可。
(4)配置hadoop链接
选择window菜单栏下的show view选项下的other选项,在弹出的的框中选择Map/Reduce Locations选项。
这是你会在eclipse下看到多出了Map/Reduce Locations选项:
右键选择New Hadoop Locations。
Host是你的Master主机的地址,Port是端口号,User name是你登陆的用户。
点击finish后你会连接上你的hadoop。
这是后你就可以上传或下载文件到hadoop上了。
如果出现上传或下载失败,那么请看下面这篇文章。我是通过添加JAVA_HOME=D:\Program Files\Java\jdk1.7.0_51这个系统变量来解决的。
http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/
备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。
datanode节点全部挂了 重启 看看集群是否能够正常启动
1.关闭hdfs权限:hdfs-site.xml中
<property>
<!-- 是否对DFS中的文件进行权限控制(测试中一般用false)-->
<name>dfs.permissions</name>
<value>false</value>
</property>
2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location
3.在windows的hosts文件中添加hadoop所有节点的ip和主机名
4.关闭linux系统防火墙
5.把hadoop三个配置文件中涉及到的主机名全部改成ip地址,master和salves文件也改成ip
评论暂时关闭