CentOS 7下Hadoop2.2伪分布模式安装
CentOS 7下Hadoop2.2伪分布模式安装
这里就不介绍CentOS的安装了，具体看下面的连接，直接进入Hadoop2.2伪分布模式安装。
VMware虚拟机下安装CentOS7.0图文教程
U盘安装64位CentOS 6.5方法
Win7安装64位CentOS 6.4双系统详细图文教程
UEFI+GPT安装Windows8和CentOS双系统
Windows8.1和CentOS6.5双系统安装
1.安装包下载
1.1.下载JDK1.7
目前JDK的版本是jdk1.8.0_25，这里下载的是jdk1.7.0_67。
下载页面：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
1.2.下载Hadoop2.2
目前Hadoop的最新版本是hadoop2.5,这里下载的是Hadoop2.2
下载页面：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/
2.安装Hadoop2.2
2.1.配置安装环境
2.1.1.创建hadoop用户
使用root账号登陆CentOS，执行一下操作：
# /usr/sbin/groupaddhadoop
创建hadoop用户，隶属于hadoop组
# /usr/sbin/useradd -ghadoophadoop
修改hadoop用户的密码为hadoop：
# passwd hadoop
2.1.2.配置hadoop用户
编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，设置静态IP地址信息。
#vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.15.136
NETMASK=255.255.255.0
GATEWAY=192.168.15.2
使修改的参数立即生效：
先关闭：
# /sbin/ifdown eth0
再启动：
# /sbin/ifup eth0
编辑/etc/hostname文件，设置主机名称
# vi /etc/hostname
Master.Hadoop
编辑/etc/hosts文件，设置主机名称与IP映射关系
# vi /etc/hosts
192.168.15.136Master.Hadoop
2.1.3.创建软件目录
创建u01目录，用于安装hadoop软件。
mkdir-p /u01/hadoop
chown -Rhadoop:hadoop /u01/hadoop/
chmod -R775 /u01/hadoop/
hadoop数据存放目录
mkdir-p /data/hadoop
chown-R hadoop:hadoop /data/hadoop
chmod-R 775 /data/hadoop
以上都是使用root账号进行操作，接下以hadoop用户登陆，开始安装hadoop2.2
2.1.4.上传安装包
以hadoop用户登陆CentOS，使用FTP工具将安装包上传到/u01/hadoop/目录。
2.2.安装JDK
由于下载JDK是免安装版，只需解压到指定的目录就完成了安装，将JDK安装到/u01/hadoop/jdk目录下。
# tar-zxvf jdk-7u67-linux-x64.tar.gz
# mv jdk1.7.0_67/ /u01/hadoop/jdk
配置JDK环境变量
vi .bash_bash_profile
export JAVA_HOME=/u01/hadoop/jdk
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
export PATH=$JAVA_HOME/bin:$PATH
（注意：在配置PATH环境变量时，一定要将$JAVA_HOME/bin放置在$PATH前面。这样就不会使用系统默认的JDK）
执行source命令，立即生效JDK环境变量
# source .bash_profile
查看JDK是否安装成功！
# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
出现以上的信息，表明JDK安装成功！
2.3.安装Hadoop2.2
Hadoop有三种运行模式：单机模式、伪分布式与完全分布式。伪分布式是只有一个节点的集群。这里只介绍伪分布式的安装，主要用户学习。
--------------------------------------分割线 --------------------------------------
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）
--------------------------------------分割线 --------------------------------------
2.3.1.配置SSH免密码登陆
Hadoop需要通过SSH来启动Slave节点的守护进程，即使安装伪分布式也需要SSH。我在安装CentOS的时候，就已经安装了SSH。只需要配置免密码登陆就可以了。如果没有安装SSH的话，就先安装SSH后，再进入下面的步骤。
在hadoop用户的home目录执行以下命令：
$ ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa
(注解：ssh-keygen表示生成密钥；-t指定密钥类型；-P 提供密语；-f生成的密钥文件)
$ cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod600 ~/.ssh/authorized_keys
验证是否可以免密码登陆
$ sshlocalhost
Last login: Sat Oct 25 07:42:43 2014
出现这样的信息，表示SSH配置成功。
2.3.2.hadoop2.2安装与配置
hadoop的安装过程非常简单，只需要解压到指定的目录就可以了，其实hadoop的安装步骤主要是在配置文件。将hadoop安装包解压到/u01/hadoop/hadoop目下。
tar-zxvf hadoop-2.2.0.tar.gz
mv hadoop-2.2.0 /u01/hadoop/hadoop
主要配置这五个文件：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
进入hadoop配置文件目录
cd /u01/hadoop/hadoop/etc/hadoop/
指定JDK的home目录：
#vi hadoop-env.sh
exportJAVA_HOME=/u01/hadoop/jdk
更多详情见请继续阅读下一页的精彩内容：
|
评论暂时关闭