闭关修炼一百天——第三天
闭关修炼一百天——第三天
今天看了很多Hadoop知识,发现一个问题,看了太多的知识,所以无法全部写在这里。
有点那怀疑那些天天写博客,而且每篇的博客都很长的博主。你们哪里有这么多的时间啊?反正我是没有,一个小时的时间,我只能写这么多了。
1.host 选择算法,其实就是作业在运行的时候选择位于集群哪个机架上的数据的过程。
1)先按照节点的数据量排序
2)在节点内部按照node包含的数据对node排序
3)取前N个host列表作为InputSplit的host列表。
好吧,今天就这些了。打字速度太慢了。
评论暂时关闭