基于Hadoop2.5.0的集群搭建
基于Hadoop2.5.0的集群搭建
一、 规划
1. 准备安装包
JDK:http://download.Oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz
Hadoop:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz
Hive:http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz
ZK:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
HBase:http://apache.fayea.com/apache-mirror/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin.tar.gz
MySql:http://ftp.nchu.edu.tw/Unix/Database/MySQL/Downloads/MySQL-5.6/mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz
MysqlConnector:http://ftp.nchu.edu.tw/Unix/Database/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.25.zip
Sqoop：complete based on sqoop-1.4.5 and current hadoop version
http://mirror.bit.edu.cn/apache/sqoop/1.4.5/sqoop-1.4.5.tar.gz
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）
2. 环境规划
|
类型 |
名称 |
配置 |
IP |
安装内容 |
|
Hadoop集群主节点 |
mycluster1 |
16核*32G*2T |
192.168.2.92 |
Hadoop |
|
mycluster2 |
16核*32G*6T |
192.168.2.88 |
||
|
Hadoop集群从节点 |
mycluster3 |
4核*8G*250G |
192.168.1.84 |
|
|
mycluster4 |
4核*8G*250G |
192.168.1.85 |
||
|
mycluster5 |
4核*8G*250G |
192.168.1.86 |
||
|
mycluster6 |
4核*8G*250G |
192.168.1.87 |
||
|
mycluster7 |
4核*8G*250G |
192.168.1.88 |
||
|
mycluster8 |
4核*8G*250G |
192.168.1.89 |
||
|
mycluster9 |
4核*8G*250G |
192.168.1.90 |
||
|
mycluster10 |
4核*8G*250G |
192.168.1.91 |
||
|
分布式应用 |
mycluster11 |
4核*8G*250G |
192.168.1.92 |
Hive Sqoop MySQL |
二、 安装
1. 环境配置
a) 基本配置
1. 配置各机器的机器名
|
vi /etc/sysconfig/network vi /etc/hosts hostname mycluster* |
2. 所有节点关闭防火墙
|
service iptables stop |
3. 将所有机器名配置到各机器中
|
vi /etc/hosts |
|
#127.0.0.1 localhost localhost.localdomain mycluster5 #::1 localhost localhost.localdomain mycluster5 # 这里注释掉关于localhost的配置，详情查看遇到的问题 # 因为zookeeper要求配置localhost，所以这里关于本地地址的配置改为如下： 127.0.0.1 localhost localhost.localdomain ::1 localhost localhost.localdomain
192.168.2.92 mycluster1 192.168.2.88 mycluster2 192.168.1.84 mycluster3 192.168.1.85 mycluster4 192.168.1.86 mycluster5 192.168.1.87 mycluster6 192.168.1.88 mycluster7 192.168.1.89 mycluster8 192.168.1.90 mycluster9 192.168.1.91 mycluster10 192.168.1.92 mycluster11 |
4. 保证各机器间时间差不超过2分钟
|
date date -s "2014-09-05 23:38:00" ntpdate time.windows.com clock -w |
查看 修改 若连通互联网，可同步微软 写入BIOS |
b) 打通SSH
1. 在各机器创建mycluster用户。以后的命令都在mycluster下执行。
|
groupadd mycluster useradd -g mycluster -G root -d /home/mycluster mycluster passwd qcpass@lh |
2. 在各Slave创建ssh目录。
|
mkdir /home/mycluster/.ssh chmod 700 /home/mycluster/.ssh |
目录权限必须是700，否则无法ssh登录 |
3. 登录Master，生成SSH公钥、私钥，复制公钥到各Slave。
|
ssh-keygen -t rsa cd /home/mycluster/.ssh
cp id_rsa.pub authorized_keys scp authorized_keys mycluster@mycluster*:/home/mycluster/.ssh |
c) 安装JDK1.7
1. 登录root用户安装JDK到/usr/java目录下。
|
tar -zxvf jdk-7u67-linux-x64.gz ln -s jdk1.7.0_67 jdk |
2. 配置环境变量。
|
vi /etc/profile vi .bashrc |
所有用户可见的方式 当前用户可见的方式 |
|
|
export JAVA_HOME=/home/mycluster/jdk export CLASSPATH=. export PATH=$JAVA_HOME/bin:$PATH |
||
|
source /etc/profile env | grep JAVA_HOME |
生效 验证 |
|
更多详情见请继续阅读下一页的精彩内容：
|
评论暂时关闭