CDH5 大数据实验平台搭建笔记，cdh5大数平台搭建

文章由LinuxBoy分享于2019-03-27 11:03:06热评（318）

CDH5 大数据实验平台搭建笔记，cdh5大数平台搭建

本实验环境4台linux16.04 都是安装在VMware Workstation的虚拟机。
分别是 CDH01 CDH02 CDH03 CDH04 其中 CDH01是主服务器主服务器25G+8G 其它20G+4G

以下四台机器都需要
1.修改root密码一样的密码

2. apt-get install openssh-server openssh-client

apt-get install ntp

3.在主机 ssh-keygen -t rsa 生成 /root/.ssh/下密钥文件和私钥文件 id_rsa,id_rsa.pub

4. 修改 vi /etc/ssh/sshd_config
增加 PermitRootLogin yes 允许root远程登录
/etc/init.d/ssh restart重启服务

5.从CDH01复制id_rsa.pub到其他机器的 /root/.ssh/authorized_keys
在CDH02,CDH03,CDH04建立目录 /root/.ssh
scp id_rsa.pub root@192.168.196.142L/root/.ssh/authorized_keys
6. 修改hosts文件
vi /etc/hosts
vi /etc/hostname
192.168.196.145 CDH01
192.168.196.146 CDH02
192.168.196.147 CDH03
192.168.196.148 CDH04

7. 下载jdk1.8 到 /var/cache/apt

网上下载oracle-j2sdk1.8_1.8.0+update20_amd64.deb

安装下载的文件

dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb
输入javac -version 测试显示版本 javac 1.8.0_20

8.在 CDH01 上安装 mysql
sudo apt-get install mysql-server
apt-get isntall mysql-client
sudo apt-get install libmysqlclient-dev
sudo netstat -tap | grep mysql
mysql -u root -p

vi /etc/mysql/mysql.cnf.d/mysqld.cnf

bindaddress = 0.0.0.0 (允许远程登录mysql)
grant all privileges on *.* to root@'%' identified by '密码***' with grant option;
flush privileges;

9. cloudera-manager安装

在CDH01目录 /var/cache/apt/archives
cd /var/cache/apt/archives
设置 apt数据源
curl "http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list" -o /etc/apt/sources.list.d/cloudera_xenial.list
curl -s http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key | sudo apt-key add

确认：/etc/apt/sources.list.d/cloudera-manager.list文件为以下内容：
deb [arch=amd64] https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/ xenial-cm5.13.1 contrib

apt-get update
apt-get install cloudera-manager-server cloudera-manager-agent

10、修改Cloudera-Manager-Server的配置文件db.properties，设置MySql连接
　　修改Cloudera-Manager-Server的配置文件db.properties,设置刚才我们在（4.7）Mysql中创建的cmf数据库、用户名、密码（4台机器都要执行）

root@m1:~# vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm

11.
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
mv mysql-connector-java-5.1.45.bin.jar /usr/share/cmf/lib

12.建立cm数据库
/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

13.建立用户（这个好像也可以自动建立，无需手动建立用户）
useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false -comment "Cloudera SCM User" cloudera-scm

也可以根据cloudera平台运行后，上面提示CDH01未建立hive等...几个用户和用户组，分别再建立

useradd Hive

....

14. ufw disable (关闭防火墙)

15.启动主服务器服务
service cloudera-scm-server start
service cloudera-scm-server status
netstat -ap | grep 7180
(要等一会才能看到7180服务已启动)

16.复制以下文件到 /opt/cloudera/parcel-repo
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1
manifest.json
把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名为 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha

17.复制cloudera-manager的安装文件到其它机器
cd /var/cache/apt/archives
scp cloudera* root@CDH02:/var/cache/apt/archives
scp cloudera* root@CDH03:/var/cache/apt/archives
scp cloudera* root@CDH04:/var/cache/apt/archives

18. http://192.168.196.145:7180 admin/admin

在浏览器打开以上网址，账号密码是admin/admin,然后按向导开始安装 cloudera 平台及各组件。

以下是成功安装后的运行界面：

推荐文章：

CDH5 大数据实验平台搭建笔记，cdh5大数平台搭建