用Shell脚本过滤Hadoop中不能访问的节点

用Shell脚本过滤Hadoop中不能访问的节点

最近使用的一个集群hp1，因为维护集群的人不给力，节点总是过一段时间就掉一两个。今天发现重启Hadoop时，HDFS已经进入保护模式了。

决定把slaves节点中的无法访问的节点全部过滤掉，所以写了一个小脚本，在这里记录一下，以后方便直接拿来使用。

PS：用C Shell编写的

代码如下：

 #!/bin/csh
if ( $#argv < 1 ) then
 echo "Usage: $0 host_file"
 exit 1
endif
set NODES = `cat $1`
foreach NODE ( $NODES )
 ping -q -c 1 $NODE > /dev/null
 if ( $? == 0 ) then
  echo $NODE
 endif
end

顺便附带一个ssh检查的脚本：

#!/bin/csh
set nodes = `cat slaves`
foreach i ( $nodes )
 echo $i
 ssh $i exit
end

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）