Hadoop系列之实验环境搭建,hadoop系列搭建
Hadoop系列之实验环境搭建,hadoop系列搭建
实验环境基本配置
硬件:硬盘单节点50GB,1G内存,单核。
操作系统:CentOS6.4 64bit
Hadoop:2.20 64bit(已编译)
JDK:jdk1.7
磁盘分区:
/ |
5GB |
/boot |
100MB |
/usr |
5GB |
/tmp |
500MB |
swap |
2GB |
/var |
1GB |
/home |
剩余空间 |
Linux系统安装配置
无桌面(Minimal)
Base SystemàBase, Compatibility libraries, Performance Tools, Perl Support
Developmentà Development Tools
LanguagesàChinese Support
创建Hadoop用户
Useradd Hadoop
Passwd Hadoop
网络配置
修改ip
vim /etc/sysconfig/network-scripts/ifcfg-eth0
保存并重启网络service network restart
修改主机名
Vim /etc/sysconfig/network
主机名和IP绑定
Vim /etc/host
关闭防火墙
查看状态service iptables status
关闭防火墙service iptables stop
查看防火墙开机启动状态 chkconfig iptables –list
关闭防火墙开机启动 chkconfig iptables off
关闭SELinux
Vim /etc/sysconfig/selinux
Setenforce 0
Getenforce
SSH免登陆设置
使用hadoop用户生成公钥和私钥:ssh-keygen –t rsa
将授权发送给Slave1..5:ssh-copy –i Slave1
同样,也将Slave1…5对Master进行免密登录
为了保证S1到Master通信,同样配置S1到Master免登陆
安装JDK
将jdk1.7解压缩到/usr/local/目录下,并改名为jdk
修改/etc/profile文件
主机名 |
IP |
安装的软件 |
运行的进程 |
Master |
172.20.53.151 |
jdk、hadoop |
NameNode、DFSZKFailoverController |
Slave1 |
172.20.53.171 |
jdk、hadoop |
ResourceManager |
Slave2 |
172.20.53.21 |
jdk、hadoop、 |
NameNode、DFSZKFailoverController |
Slave3 |
172.20.53.37 |
jdk、hadoop、zookeeper |
DataNode、NodeManager、JournalNode、QuorumPeerMain |
Slave4 |
172.20.53.174 |
jdk、hadoop、zookeeper |
DataNode、NodeManager、JournalNode、QuorumPeerMain |
Slave5 |
172.20.53.177 |
jdk、hadoop、zookeeper |
DataNode、NodeManager、JournalNode、QuorumPeerMain |
Zookeeper的安装
在S3,S4,S5节点上安装zookeeper:
- S3上使用root用户登录,把zookeeper解压到/usr/local/下:
tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/
- 进入到zookeeper目录下,对它进行配置。
- 将conf目录下的zoo_sample.cfg重命名为zoo.cfg:
mv zoo_sample.cfg zoo.cfg,用来zookeeper启动时读取
- 在/usr/local/ zookeeper-3.4.5/data创建文件myid,写入服务器id:1
- 修改zoo.cfg中日志存放路径到/usr/local/ zookeeper-3.4.5/data(记得创建data目录并创建myid文件),如下:
- 在文件最后添加如下信息:
服务器ID:server.1
Zookeeper运行的主机:Slave3..5
通信端口:2888
选举端口:3888
- 将配置好的zookeeper用scp发送给S4,S5
scp –r /usr/local/ zookeeper-3.4.5/ root@Slave4: /usr/local/ zookeeper-3.4.5/
scp –r /usr/local/ zookeeper-3.4.5/ root@Slave5: /usr/local/ zookeeper-3.4.5/
别忘了修改myid文件中的服务器号
- 启动三个节点的zk:
调用bin目录下的zkServer.sh脚本命令:./ zkServer.sh start
- 查看状态./ zkServer.sh status
三个节点只有一个为leader,其余为follower
安装hadoop
将编译好的hadoop-2.2.0.tar.gz上传至Master,用root用户解压到/usr目录下,改名为hadoop
- 在hadoop目录下创建tmp文件夹(可省略)
mkdir tmp
- 设置hadoop目录的所有者为hadoop:
chown –R Hadoop:hadoop Hadoop
- 将hadoop添加到环境变量中vim /etc/profile
其余几个节点也如此配置。
配置hadoop
- 配置HDFS(hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
修改/usr/Hadoop/etc/Hadoop/目录下的配置文件
- 配置hadoop运行环境,修改hadoo-env.sh:
- 修改core-site.xml
Hadoop.tmp.dir参数虽然称为临时目录,其实保存的是以后hdfs的数据
- 修改hdfs-site.xml文件
<configuration>
<!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>Master:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>Master:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>Slave1:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>Slave1:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://Slave3:8485;Slave4:8485;Slave5:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/hadoop/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
</configuration>
- 重命名mapred-site.xml.template为mapred-site.xml并配置如下
说明MR框架运行在yarn之上
- 配置子节点文件:slaves
DN为S3,S4,S5
- 将配置好的hadoop复制到其他节点上(root)
scp –r /usr/Hadoop/ Slave1:/usr/Hadoop/
复制后应修改权限:chown –R Hadoop:hadoop Hadoop
启动hadoop
- 启动zookeeper:
bin/ zkServer.sh start
- 启动journalnode(在Master上启动所有journalnode)
cd /usr/hadoop
sbin/hadoop-daemons.sh start journalnode 通过ssh协议同时启动多个进程
(运行jps命令检验,多了JournalNode进程)
- 格式化HDFS
在Master上执行命令:hadoop namenode –format
此时将Master中tmp目录拷贝到Slave1的/usr/Hadoop/下:
scp –r /usr/Hadoop/tmp Slave1:/usr/Hadoop/
- 格式化ZK(在Master上执行):hdfs zkfc –formatZK
此时,在S3..S5节点上的zk的bin目录下执行./zkCli.sh命令,可以发现多出hadoop-ha的目录用于保存数据。
- 启动HDFS(在Master上执行):
sbin/start-dfs.sh
如果一个NameNode挂掉,重新启动要使用命令sbin/Hadoop-deamon.sh start namenode,要保证两个NameNode要ssh免密码登录。
- 在Slave2上启动yarn:sbin/start-yarn.sh
注:
关于修改虚拟机网卡
- 修改 /etc/udev/rules.d/70-persistent-net.rules 文件
删除掉 关于 eth0 的信息。修改 第二条 eth1 的网卡的名字为 eth0.
- 修改 /etc/sysconfig/network-scripts/ifcfg-eth0 中mac地址为 /etc/udev/rules.d/70-persistent-net.rules 修改后的eth0的mac地址。
hadoop本来带的单词统计的例子就可以测试了,呵呵搭建环境得一步步来呀,楼上说的对,你这问题太笼统了,应该这么:1、XP或Win7下如何安装VMWare虚拟机,这个安装好后装linux系统。2、虚拟机安装linux系统(ubuntu、redhat、fedora等等选择一个安装)。3、假如安装的是redhat系统,搜下redhat下安装hadoop(官网下载hadoop的一个版本)。4、测试hadoop环境,安装步骤最后就会告诉你怎么测试单词统计的例子。一步步来吧!这些环境的配置看你想在几个节点上搭建环境,每个节点的配置一样。
我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。
但原理是一样额
club.sm160.com/showtopic-937269.aspx
HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同)
评论暂时关闭