Hadoop学习笔记_3_实施Hadoop集群，hadoop_3

实施Hadoop集群

--为伪分布式安装Hadoop做准备

原材料:

1.VMware

2.CentOS-x.x.iso

3.JDK

4.hadoop-x.x.x.tar.gz

为伪分布式安装所做的准备

1.宿主机(Windows)与客户机(安装在VMware等虚拟机中的Linux)进行网络连接

VMware提供了三种最常用的网络连接方式，分别是网络地址转换(NAT)、桥接网卡、仅主机(Host-Only)适配器.

a) 网络地址转换(NAT)

这种访问模式指的是虚拟机不占用主机所在局域网的ip，通过使用主机的NAT功能访问局域网和互联网，意味着虚拟机可以访问局域网中的其他电脑，但是其他电脑不知道虚拟机的存在。

使用这种模式时，虚拟机不需要设置静态IP，只需要使用DHCP功能自动获取ip即可。

这种模式的好处是可以利用主机的网卡上网，而且不占用更多的ip地址。在ip v4紧张的年代，发明了NAT，因此绝大多数上网都是这种方式。

b) Host-only 客户机与宿主机单独组网

i. 好处: 网络隔离,且宿主机更换网络IP可以似的客户机不用切换网络

ii. 坏处: 虚拟机与其他服务器之间不能通信

c) bridge 客户机与宿主机在同一个局域网中

这种访问模式指的是使用主机的网络连接方式。虚拟机和主机在同一个局域网中，与局域网中其他电脑共享同一个网络。如果主机能够不加限制的随意上网，那么虚拟机也可以上网。如果主机是绑定MAC才能上网，那么虚拟机也要绑定MAC才能上网。

i. 好处: 都在同一个局域网中,可以互相访问

ii. 坏处: 不安全,无法完全屏蔽网络攻击;且必须与宿主机所在网络中的主机的IP不重复

选择成功之后,需要在VMware中[网络适配器]作出相应修改,以支持相应网络连接.

安装Linux操作系统详细步骤请参考博客:http://blog.csdn.net/zjf280441589/article/details/17548525

注意:如果选择的是Host-only,则由VMware虚拟出的VMnet1(虚拟网卡)一定要开启[其IP地址可更改].

2.设置静态ip

a) 在CentOS桌面右上角的图标上,右键修改

b) 重启网卡,执行命令service network restart

c) 验证

i. 执行命令ifconfig

ii. Linux与Windows互ping,验证是否成功

3.修改主机名

a)修改当前会话中的主机名,执行命令:hostname hadoop

b) 修改配置文件中的主机名,编辑/etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop

[附:]vi的详细使用方法,请参考博客:http://blog.csdn.net/zjf280441589/article/details/17713835

4.把hostname与ip绑定

a) 编辑/etc/hosts,添加一行:

192.168.80.100 hadoop #192.168.80.100为本机ip地址

b) 验证:ping hadoop 查看是否成功

5.关闭防火墙iptables

a) service iptables status #可用于查看防火墙规则设置

b) service iptables stop #关闭防火墙

c) chkconfig --list #查看各服务的启动配置

d) chkconfig iptables off #关闭防火墙的开机自启动

e) chkconfig --list | grep iptables #验证iptables是否关闭开机自启动

6.SSH(secure shell)的免密码登录

a) 执行命令 ssh-keygen -t rsa(一路回车) 产生秘钥,位于~/.ssh目录下

b) 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

c) 验证:ssh localhost

此时可以使用putty(或者pietty,secureCRT)进行远程登录了

此时可以使用WinSCP实现Windows与Linux文件的互传,如将jdk与hadoop安装包上传到Linux服务器上.

7.安装jdk

a) 执行命令rm -rf /usr/local/* 删除所有文件内容

b) 使用WinCP把jdk文件从Windows复制到Linux的/user/local目录下

c) chmod u+x jdk-.... #授予jdk执行权限

d) ./jdk-... #安装jdk,在当前目录下

e) mv jdk-... jdk #将jdk-...目录重命名为jdk

f) 编辑 /etc/profile 添加

export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH

g) 执行source /etc/profile使得该设置立即生效

h) 验证:java -version

显示有关于HotSpot(TM)的内容,则显示配置成功

你的配置文件mapred-site.xml有问题，估计是哪个配置项写错了，是否可以将此文件内容贴出来看看，最简单的情况下mapred-site.xml的配置如下，一个自定义选项即可，以下是伪分布式或者单机部署配置，分布式将<value>修改为你的jobtracker节点即可。
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
 

不能立即生效吧，除非你在应用程序里面指定