Hadoop 2.5.2版本安装部署


Hadoop 2.5.2版本安装部署

软件及版本：

Hadoop版本

hadoop-2.5.2

  

操作系统

Red Hat Linux 6.4

32bit

JDK版本

jdk-8u25-linux-i586.rpm

  

软件准备：

下载hadoop-2.5.2：

wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.5.2.tar.gz

下载JDK：jdk-8u25-linux-i586.rpm
      http://www.Oracle.com/technetwork/java/javase/index.html

总体的流程如下：
1、实现ssh无密码验证配置
2、安装jdk，并配好环境变量
3、安装与配置Hadoop
4、格式化与启动
5、验证是否启动

Hadoop2.5.2 新特性 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）

 一.主机之间SSH无密码验证
 利用 :  ssh-kengen –t rsa 命令产生公钥，将个主机之间的公钥，相互拷贝到authorized_keys文件内。

 二.安装JDK
安装好后，用java -version 检验下

 配置环境变量:

###set java_env

export JAVA_HOME=/usr/java/jdk1.8.0_25/
export JRE_HOME=/usr/java/jdk1.8.0_25/jre
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

###set hadoop_env
export HADOOP_HOME=/home/bkjia/hadoop-2.5.2
 
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_YARN_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
 
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"

三.部署配置Hadoop
解压Hadoop 到 自己的hadoop 目录

 配置相关的配置文件
2.5.x版本的配置文件在：$Hadoop_Home/etc/hadoop  目录下
2.X版本较1.X版本改动很大，主要是用Hadoop MapReduceV2(Yarn) 框架代替了一代的架构，其中JobTracker 和 TaskTracker 不见了，取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分，而具体的配置文件位置与内容也都有了相应变化，具体的可参考文献：

（1）hadoop/etc/hadoop/hadoop-env.sh 与 hadoop/etc/hadoop/yarn-env.sh来配置两个文件里的JAVA_HOME

（2）etc/hadoop/core-site.xml，配置为：

<configuration>

 

<property>

<name>hadoop.tmp.dir</name>

<value>/home/bkjia/hadoop-2.5.2/tmp</value>

<description>A base for other temporary directories.</description>

</property>

 

<property>

 <name>fs.default.name</name>

 <value>hdfs://namenode:9000</value>

 </property>

 

 <property>

 <name>io.file.buffer.size</name>

 <value>131072</value>

 </property>

 

 <property>

 <name>hadoop.proxyuser.root.hosts</name>

 <value>namenode</value>

 </property> 

 <property>

 <name>hadoop.proxyuser.root.groups</name>

 <value>*</value>

 </property> 

 </configuration>

（3）etc/hadoop/hdfs-site.xml，配置为： （注意：这里需要自己手动用mkdir创建name和data文件夹，具体位置也可以自己选择，其中dfs.replication的值建议配置为与分布式 cluster 中实际的 DataNode 主机数一致。）

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/bkjia/hadoop-2.5.2/hdfs/name</value>

<final>true</final>

</property>

 

<property>

<name>dfs.datanode.data.dir</name>

 <value>/home/bkjia/hadoop-2.5.2/hdfs/data</value>

 <final>true</final>

 </property>

 

 <property>

 <name>dfs.replication</name>

 <value>2</value>

 </property>

 

 <property>

 <name>dfs.permissions</name>

 <value>false</value>

 </property>

 

 </configuration>

更多详情见请继续阅读下一页的精彩内容：

  • 1
  • 2
  • 下一页

相关内容