Hadoop0.20.2版本在Ubuntu下安装和配置


　　1、安装JDK
　　（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK
　　sudo apt-get install sun-java6-jdk
　　（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容
　　export JAVA_HOME = （Java安装目录）
　　export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
　　export PATH = "$JAVA_HOME/:PATH"
　　（3）验证Java是否安装成功
　　输入 java -version ，输出Java版本信息即为安装成功。

　　2、安装配置SSH

　　（1）下载安装SSH：同样在命令行输入下面命令安装SSH
　　sudo apt-get install ssh
　　（2）配置无密码登录本机：在命令行输入下面两条命令
　　ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　（3）验证SSH是否安装成功
　　输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

　　3、安装运行Hadoop（以0.20.2版本为例）

　　（1）下载Hadoop：在http://www.apache.org/dyn/closer.cgi/hadoop/core/页面上下载Hadoop。

　　（2）安装配置Hadoop

　　单节点配置：
　　安装单节点的Hadoop无需配置，在这种方式下，Hadoop被认作为一个单独的Java进程。
　　伪分布配置：
　　伪分布的Hadoop是只有一个节点的集群。在这个集群中，计算机既是master也是slave，即使 namenode也是datanode，既是jobtracker也是tasktracker。

　　配置的过程如下：

　　a、进入conf文件夹修改下面的文件。
　　Hadoop-env.sh中加入下面内容：
　　export JAVA_HOME = （JAVA安装目录）
　　core-site.xml文件内容修改为下面内容：
　　<configuration>
　　<property>
　　<name>fs.default.name</name>
　　<value>hdfs://localhost:9000</value>
　　</property>
　　</configuration>
　　hdfs-site.xml文件内容修改为下面内容：
　　<configuration>
　　<property>
　　<name>fs.replication</name>
　　<value>1</value>
　　</property>
　　</configuration>
　　mapred-site.xml文件内容修改为下面内容：
　　<configuration>
　　<property>
　　<name>mapred.job.tracker</name>
　　<value>localhost:9001</value>
　　</property>
　　</configuration>

　　b、格式化Hadoop文件系统，在命令行输入命令：
　　bin/hadoop namenode -format

　　c、启动Hadoop，在命令行输入命令：
　　bin/start-all.sh

　　d、验证Hadoop是否安装成功，在浏览器中输入下面网址，如果正常打开说明安装成功。
　　http://localhost:50030 (mapreduce的web页面)
　　http://localhost:50070 (hdfs的web页面)

相关内容