hadoop-2.6.0集群开发环境配置，hadoop-2.6.0集群

hadoop-2.6.0集群开发环境配置，hadoop-2.6.0集群

hadoop-2.6.0集群开发环境配置

 

一．环境说明

1.1安装环境说明

本例中，操作系统为CentOS 6.6, JDK版本为JDK 1.7，Hadoop版本为Apache Hadoop 2.6.0

 

现有四台机器如下

 

10.25.100.130 node01    //namenode

10.25.100.131 node02    //datanode

10.25.100.132 node03    //datanode

10.25.100.133 node04    //datanode

 

二.安装jdk，此处使用jdk1.7；

1.换目录到/usr 目录下，  cd /usr

 2.创建java  目录 ，  mkdir java

 3.将jkd复制到/usr/java目录     cp jdk-7u55-linux-x64.tar.gz  /usr/java

 4.解压jdk，  tar zxvf   jdk-7u55-linux-x64.tar.gz

 5.配置环境变量   vi /etc/profile

增加记录  ：

export JAVA_HOME=/usr/java/jdk1.7.0_55
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

6.使环境变量生效   source /etc/profile

7.验证是否生效   java -version

[root@localhost java]# java -version

java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)

[root@localhost java]# 

三. 修改主机名称

1.

[root@localhost ~]# vi /etc/hosts     修改并增加后为

 

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

 

127.0.0.1 localhost

10.25.100.130 node01

10.25.100.131 node02

10.25.100.132 node03

10.25.100.133 node04

2.

[root@localhost ~]# vi /etc/sysconfig/network  将/etc/syscinfig/network 下的HOSTNAME改为node01

NETWORKING=yes

HOSTNAME=node01

3.再使用hostname命令指定一次

[root@localhost ~]# hostname node01

只要重新登入(重启)，命令提示字串就会改成[root@node01 ~]#

同理(1,2,3步骤)修改其它几台机器

 

四.  制作ssh无密码登录

1.先分别制作每台主机的无密码登录

[root@node01 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

[root@node01 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

[root@node01 ~]# ssh node01

Last login: Wed Jul 29 18:52:44 2015 from localhost

[root@node01 ~]#

同理制作其它几台机器

2.在/root下 生成一个.ssh文件夹

[root@node01 ~]# cd .ssh/

[root@node01 .ssh]# ls

authorized_keys  id_dsa  id_dsa.pub  known_hosts

[root@node01 .ssh]#

3.然后将authorized_keys文件拷贝到其它几台机器的/root下

[root@node01 .ssh]# scp authorized_keys root@node02:~/

[root@node01 .ssh]# scp authorized_keys root@node03:~/

[root@node01 .ssh]# scp authorized_keys root@node04:~/

4.分别进入其它几台机器将拷贝过来的文件进行重定向

[root@node02 ~]# cat authorized_keys >> ~/.ssh/authorized_keys

[root@node03 ~]# cat authorized_keys >> ~/.ssh/authorized_keys

[root@node04 ~]# cat authorized_keys >> ~/.ssh/authorized_keys

5.此时，就完成了ssh无密码登录，是不是很简单呢，我们可以做一个测试

在node01主机下登录node04

[root@node01 .ssh]# ssh node04

Last login: Wed Jul 29 18:48:13 2015 from 10.25.100.100

[root@node04 ~]#

6.如果退出连接输入exit

[root@node04 ~]# exit

logout

Connection to node04 closed.b

[root@node01 .ssh]#

五.hadoop安装  此操作在node01机上进行，用root用户

现在就开始了我们的hadoop搭建

1， 首先在/home下建立一个hadoop文件夹

将hadoop安装包hadoop-2.6.0.tar.gz拷贝到/home/hadoop下进行解压   tar zxvf hadoop-2.6.0.tar.gz

1． 修改配置文件 [root@node01 home]# cd hadoop/

[root@node01 hadoop]# cd hadoop-2.6.0/etc/hadoop/

3.修改配置文件 core-site.xml

[root@node01 hadoop]# vi core-site.xml

<configuration>

 

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node01:9000</value>   //node01是主服务器机名

    </property>

 

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.6</value>   /*防止后面需要每一次重新格式化，这个目录不需要手动建立，运行时会自动建立*/

    </property>

 

</configuration>

 

4.修改hdfs-site.xml

[root@node01 hadoop]# vi hdfs-site.xml

<configuration>

 

    <property>

        <name>dfs.replication</name>

        <value>3</value>     //datanode的节点个数，默认的为3个

    </property>

 

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node01:50090</value>

    </property>

 

</configuration>

 5.配置运行环境  vi  hadoop-env.sh 

[root@node01 hadoop]# vi hadoop-env.sh在最后添加下面一句话

export JAVA_HOME=/usr/java/jdk1.7.0_55

6.配置slaves   

[root@node01 hadoop]# vi slaves

修改文件里的内容为  datanode的节点

node02

node03

node04

7.拷贝安装，配置的hadoop到其它几台机器

进入/home目录下将文件夹/hadoop拷贝到其它几台机器的/home下

[root@node01 hadoop]# cd /home/

[root@node01 home]# scp -r hadoop root@node02:/home/

[root@node01 home]# scp -r hadoop root@node03:/home/

[root@node01 home]# scp -r hadoop root@node04:/home/

将三台机器的防火墙关闭掉：

service iptables stop

8.现在，你可以检查ssh到localhost没有密码，这一步如果不执行，可能后面的结果Live Nodes会为0

[root@node01 home]# ssh loaclhost

9. 格式化文件系统

cd /home/hadoop/hadoop-2.6.0/

[root@node01 home]# cd hadoop/hadoop-2.6.0/

[root@node01 hadoop-2.6.0]# bin/hdfs namenode –format

10. 启动hadoop   

[root@node01 hadoop-2.6.0]# sbin/start-dfs.sh

查看hadoop进程，验证是否启动成功

[root@node01 hadoop-2.6.0]# jps

3628 SecondaryNameNode

3435 NameNode

7108 Jps

说明已经启动，同理查看其他几台机器

11.查看集群运行情况，在windows下的浏览器上输入

http://node01:50070

12.关闭hadoop

[root@node01 hadoop-2.6.0]# sbin/stop-dfs.sh

查看hadoop进程，验证是否关闭成功

[root@node01 hadoop-2.6.0]# jps

7108 Jps

说明已经关闭，同理查看其他几台机器

 

至此一个简单的hadoop集群搭建hdfs就算完成了，后续学习还需要大家继续努力探索，在这就不再赘述，可以参考hadoop官方网站，http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html，Apache Hadoop 2.6.0安装学习文档教程，祝大家好运！

版权声明：本文为博主原创文章，未经博主允许不得转载。