Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

系统环境

9台DELL R720xd服务器（192.168.3.245-253），1台R410master节点（192.168.3.243）
网卡：1000M
9台DELL R720xd服务器各有12*4T磁盘。
网络环境内网
CentOS6.6 x64 (Final)
 

1、准备工作卸载系统自带OPEN-JDK（所有节点）
安装好的Centos系统有时会自动安装OpenJdk，用命令java -version查看：

java version "1.6.0"

OpenJDK Runtime Environment (build 1.6.0-b09)

OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)

如有上述显示，说明系统里已经有OpenJdk，执行以下命令查看系统中有哪些OpenJdk相关包：

rpm -qa | grep java

其中有如下包必须卸载，

rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

这里我们初始环境已经是卸载了OpenJDK，安装了1.7版本的JDK

查看：

java -version

javac -version

 

2、修改主机名（所以节点）
我们初始环境已经将host文件配置好了，所有节点都要同步host文件，这步省略

 

3、打通SSH（所有节点）
目的是从master节点到所有的节点不需要输入密码即可登录

4、关闭防火墙（所有节点）
防火墙会引起Hadoop相关组件通讯的各种异常。

防火墙：
service iptables stop (临时关闭)

chkconfig iptables off (重启后生效)

SELINUX：
setenforce 0 (临时生效)

修改/etc/selinux/config 下的 SELINUX=disabled （重启后生效）。

 

5、安装NTP服务
启动NTP服务，开机自启动

service ntpd start

chkconfig ntpd on

6、安装Cloudera Manager
1. 创建一个本地目录，如/data/var/cloudera_manager ，下载相应的rpm包到本地，选择CM5.3.2，rpm包地址
http://archive.cloudera.com/cm5/RedHat/6/x86_64/cm/5.3.2/RPMS/x86_64/

下载全部的rpm包

2. 安装createrepo，创建yum源

1) yum -y install createrepo

2)进入到第一步下载的rpm包目录/data/var/cloudera_manager下运行 createrepo .（注意有一个点号）

3. 安装httpd，提供http服务

yum -y install httpd

4. 在/etc/www/http目录下建立一个软链接到/data/var/cloudera_manager

ln -s /data/var/cloudera_manager cloudera_manager
5. 启动httpd服务

/etc/init.d/httpd start,之后可以通过浏览器查看是否能够访问 http://192.168.3.243/cloudera_manager

6. 在/etc/yum.repo.d 下增加cloudera-manager.repo文件，内容如下

[cloudera-manager]

name=Cloudera Manager

baseurl=http://192.168.3.243/cloudera_manager

gpgcheck=0

7. 运行cloudera-manager-installer.bin,并在后边增加参数使其不再在/etc/yum.repo.d/下生成cloudera-manager.repo文件

./cloudera-manager-installer.bin --skip_repo_package=1

至此，按提示页面进行对应选择即可成功在内网服务器上安装ClouderaManager

安装好后，会提示一个URL，通过浏览器地址即可访问，用户密码都是admin

7、安装CDH5.3.2
下载http://archive.cloudera.com/cdh5/parcels/5.3.2/,选择相应的版本，我们是centos6.6，下载圈住的即可，放在/data/var/cloudera_manager目录下面

在安装cloudera_manager时候，需要配置选择yum源，需要改为自定义，地址填上边的baseurl：http://192.168.3.243/cloudera_manager，这样cm就会在添加的服务器上放置的yum.repo中的地址就是你内网服务器可访问的yum源，后续安装就不会有问题了。

 

如果在安装时选择了安装Hive，可能会遇到安装失败的问题，查看一下日志发现时安装Hive时需要安装JDBC驱动，所以同样我们将Mysql的驱动包拷贝到/opt/cloudera/parcels/CDH-5.3.2-1.cdh5.3.2.p0.47/lib/hive/lib/目录下，之后再继续安装就不会遇到问题了。

CentOS 6.5 下Cloudera Manager5.3.2的安装 

Cloudera Manager 和 CDH 4 终极安装 

通过Cloudera Manager来安装Hadoop 

本文永久更新链接地址：