动态的删除Hadoop集群的节点（白名单与黑名单），hadoop集群

动态的删除Hadoop集群的节点（白名单与黑名单），hadoop集群

对于大多数使用hadoop集群的人来说，有时候因为项目数据大小或者是分工不同的原因，

总要把hadoop集群的机器分开使用，

那么为了使用方便，而不是每次都去配置每台机器的host文件。

这里我推荐使用动态删除节点的方法，

主要的意思就是在dfs的hadoop/conf/hadoop-site.xml

和JobTracker的hadoop/conf/mappred-site.xml中添加黑名单和白名单

首先，现在namenode里配置，白名单和黑名单：

先编辑/hadoop/conf/hadoop-site.xml文件

如图：

只需要添加<property>

<name>dfs,,,</name>

</......

</property

还有在JobTracker机器上配置/hadoop/conf/mappred-site.xml

区别是这里的是<name>mapred.hosts</name>

然后在分别建立conf/include文件，白名单（就是允许连接的）

和conf/exclude文件，黑名单（不允许连接的）

然后分别在两个文件中写入节点。

如图：

配置好以后重启stop-all.sh

接着start-all.sh就可以了。

具体实现动态的删除，就只需要把那个节点的名字在白名单里删除，然后去黑名单里添加即可。

最后在http://localhost:50030上查看。（这里的localhost因人而异，具体看hadoop部署的位置）。