闭关修炼一百天——第三天


今天看了很多Hadoop知识,发现一个问题,看了太多的知识,所以无法全部写在这里。

有点那怀疑那些天天写博客,而且每篇的博客都很长的博主。你们哪里有这么多的时间啊?反正我是没有,一个小时的时间,我只能写这么多了。

1.host 选择算法,其实就是作业在运行的时候选择位于集群哪个机架上的数据的过程。

1)先按照节点的数据量排序

2)在节点内部按照node包含的数据对node排序

3)取前N个host列表作为InputSplit的host列表。

好吧,今天就这些了。打字速度太慢了。

相关内容