ubuntu12.04下hadoop1.04环境搭建，ubuntu12.04
ubuntu12.04下hadoop1.04环境搭建，ubuntu12.04
（1）我的电脑环境
（2）jdk1.6的安装
由于Ubuntu12.04自带了openjdk6，所以，在终端输入java -version后会现实如下提示：
表示jdk已经安装完成了。接下来是配置环境变量。
openjdk6的安装目录是在/usr/lib/jvm下
（3）设置环境变量
#set Java Environment
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
保存并退出，这时在终端输入java -version，如果出现如下提示表示安装成功。
（4）配置SSH免密码登陆
我的ubuntu用户为wgc
1.sudo apt-get install ssh
2.查看当前用户下是否有.ssh的隐藏文件，如果没有就创建一个mkdir .ssh
3.输入ssh-keygen -t dsa -P ' ' -f -/.ssh/id_dsa（' '是两个单引号）
这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件，这私钥和公钥。
4.输入cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这条命令是把公钥加到用于认证的公钥文件中
5.验证SSH是否安装成功，以及是否可以免密码登陆本机
ssh -version
如果显示如下，表示安装成功
输入ssh localhost，提示是否链接，输入yes即可
（5）安装并运行hadoop
下载并将hadoop-1.0.4.tar.gz解压到当前用户目录下（/home/wgc）
采用为分布式hadoop配置
进入hadoop文件夹下的conf夹，修改配置文件。
1.指定jdk安装位置：
Hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
2.hadoop核心配置文件，配置HDFS地址和段口号。
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.hdfs-site.xml，默认的配置方式是3，在单机版的hadoop中，将其改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置MapReduce文件，配置JobTracker的地址和端口
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
5.接下来，在启动hadoop前，需要格式化hadoop的HDFS。进入hadoop文件夹，
输入bin/hadoop namenode -format
格式化文件系统，接下来启动hadoop
输入命令，启动所有进程：
bin/start-all.sh
最后验证hadoop是否安装成功。
打开浏览器，分别输入网址：
localhost:50030（mapreduce的web页面）
localhost:50070（HDFS的web页面）
eclipse插件版本很有问题，你可以上网找找别人搭建的环境，一定要hadoop版本和eclipse版本对应，我记得eclipse3.3和hadoop-0.20.2的网上有现成的。
其次如果你是其他版本，需要自己将你开发使用的eclipse结合hadoop的plugin代码编译生成一个eclipse plugin，不过里面会报错，网上也有解决办法，自己找找。
不过我的经验是别浪费时间在这上面了，不如多学习使用些api和原理，或者安装ganglia都比弄这个好
我的eclipse是装在WINDOWS下的，HADOOP在CENTOS生产环境。
但原理是一样额
club.sm160.com/showtopic-937269.aspx
HADOOP 版本是hadoop1.0.0（和你的hadoop1.0.4配置相同）
评论暂时关闭