Hadoop全分布模式操作


摘要：介绍Hadoop全分布模式操作，实现真正意义上的集群架构。

关键词：Hadoop  全分布模式  文件配置

利用Hadoop解决大数据问题时，我们是用全分布模式来操作Hadoop。

如何基于全分布模式来操作Hadoop，构建Hadoop集群呢？具体步骤如下。

第一步：配置hosts文件。

执行命令： vi  /etc/hosts，修改所有的节点，使得彼此之间都能把主机名解析为ip，即实现主机名与ip的绑定。

第二步：建立Hadoop运行账号

在所有节点上都建立运行Hadoop的账号，建议不要使用root账号，因为其权限最大，有时会带来意想不到的麻烦。

第三步：配置ssh，实现免密码登录

针对每个节点都要进行相同操作

首先，检查是否安装了ssh

依次执行命令：which ssh     

                                     which  sshd

                                      which ssh-keygen

其次，生成ssh密钥对

执行命令： ssh-keygen  -r rsa

最后，分发ssh公钥

把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中

第四步：下载并解压Hadoop安装包

第五步：配置namenode，修改hdfs-site.xml文件

第六步：配置hadoop-env.sh

说明：以上三步配置可以参照伪分布模式操作Hadoop的配置

第七步：配置masters和slaves文件

第八步：向各节点复制Hadoop

第九步：格式化namenode，启动Hadoop

 

鉴于作者实验环境和资源有限，目前是基于伪分布模式操作Hadoop。因此，上述关于Hadoop全分布模式的操作，作者目前还没有试验过，仅是通过查阅相关文档和资料，进行的一个步骤归总。若有问题或不足，欢迎读者指正。

 

Source：

1 http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html

2 http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html

3 炼数成金之《Hadoop数据分析平台》课程的第二课，实施Hadoop集群

4 http://www.wangluqing.com/2014/02/hadoop-clustermodel-operation/#more-465



相关内容