Hadoop 1.x测试环境搭建
Hadoop 1.x测试环境搭建
引言： Hadoop目前是业界处理离线大数据的主流解决方案，它极大的解决了线性扩展集群和并行处理的问题，本文将以图形方式，详细描述了整个Hadoop测试环境的搭建，目前，hadoop有3个主要的分支，0.2.x，1.x, 2.x;这里先以1.2.2的稳定版为部署版本为示例。
1. 虚拟机准备
这里使用Ubuntu系统，2台虚拟机为Ubuntu Server，无界面，最大限度节约资源。虚拟机软件使用VirtualBox。具体的安装虚拟机的过程，在此不再赘述。
2. 下载Hadoop的稳定版1.2.2
访问: hadoop.apache.org, 下载官方版。其实Hadoop有若干的其他厂商的版本，比如CDH：Cloudrea的Hadoop发行版本。
我所用的系统是64位的，故选择x64的jdk版本。
4. 安装jdk，并设置环境变量JAVA_HOME,PATH
解压jdk：
设置环境变量，cmd: vim ~/.bashrc
5. 解压hadoop安装包
6. 给当前用户创建ssh的密钥，用以实现无密钥登录。
7. 创建authorized_keys文件，并复制到不同的节点上，并验证是否可以无密钥登录
命令： sudo vim ~/.ssh/authorized_keys
复制到其他节点：
8. 设置机器的主机名，分别设置各个节点的主机名。
命令： sudo vim /etc/hostname
命令： sudo vim /etc/hosts
10.修改hadoop的core-site.xml,使用默认的缺省设置，添加如下信息：
11.修改hadoop的hdfs-site.xml
12.修改hadoop的mapred-site.xml
13.修改hadoop的master，slaves
sudo vim hadoop_home/conf/master
sudo vim hadoop_home/conf/slaves
14.将hadoop向各个节点分发包
15.在master节点上格式化namenode
16. 启动hadoop集群， 从主节点启动
17. 验证主节点是否正常启动，基于jdk的jps命令
18. 验证dataNode是否正常启动
19. 关闭hadoop的集群
说明：
1. 实验环境是1台笔记本，I5酷睿双核，8g内存，外加，2台基于VirutalBox的虚拟机，使用Ubuntu ServerEdition.
2. 搭建集群需要使用基于ssh的无密码登录环境
3. JDK搭建需要考虑32（i586)/64(x86)的版本;
4. 配置信息都是使用基本的缺省配置 ，如需特殊配置，则请查阅相关文档
5. Hadoop版本使用1.x分支的稳定版：1.2.2，基于2.x的稳定版的安装过程，将在后续的内容中奉上。
评论暂时关闭