Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort


简介

可插入的 shuffle 和 sort 功能，允许在shuffle 和 sort 逻辑中用可选择的实现类替换。这个情况的例子是：用一个不是HTTP的应用协议，如RDMA来 shuffle 从Map节点中到Reducer节点的数据；或者用自定义的允许 Hash聚合和Limit-N查询的算法来代替sort逻辑。

重要: 可插入的 shuffle  sort 功能是实验性的、不稳定。这意味着提供的API可能改变或破坏未来Hadoop版本的兼容性。

实现一个自定义的 Shuffle 和 Sort

一个自定义的 shuffle 实现需要一个 org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.AuxiliaryService 在 NodeManagers 上运行的实现类和 org.apache.hadoop.mapred.ShuffleConsumerPlugin 在Reducer任务上运行的实现类。

由 Hadoop 提供的默认实现可以作为参考：

  • org.apache.hadoop.mapred.ShuffleHandler
  • org.apache.hadoop.mapreduce.task.reduce.Shuffle

一个自定义的 sort 实现需要一个 org.apache.hadoop.mapred.MapOutputCollector 在Mapper任务上运行的实现类和(可选的，依赖于sort实现)实现类一个 org.apache.hadoop.mapred.ShuffleConsumerPlugin在Reducer任务上运行的实现类。

由 Hadoop 提供的默认实现可以作为参考：

  • org.apache.hadoop.mapred.MapTask$MapOutputBuffer
  • org.apache.hadoop.mapreduce.task.reduce.Shuffle

配置

除了运行在 NodeManagers 上的辅助的服务帮助 shuffle(默认是 ShuffleHandler)，所有的可插入组件运行在作业任务上。这意味着，他们在每一个作业上配置。帮助Shuffle 的辅助服务必须在NodeManager上进行配置。

Job 配置属性 (在每个作业上):

属性 默认值 说明
mapreduce.job.reduce.shuffle.consumer.plugin.class org.apache.hadoop.mapreduce.task.reduce.Shuffle 要用的 ShuffleConsumerPlugin实现
mapreduce.job.map.output.collector.class org.apache.hadoop.mapred.MapTask$MapOutputBuffer 要用的 MapOutputCollector实现

这些属性也可以在 mapred-site.xml 中配置，以对所有作业修改默认值。

NodeManager 属性配置, yarn-site.xml,所有节点上:

属性 默认值 说明
yarn.nodemanager.aux-services ...,mapreduce_shuffle 辅助的服务名
yarn.nodemanager.aux-services.mapreduce_shuffle.class org.apache.hadoop.mapred.ShuffleHandler 要用的辅助的类

重要: 如果在默认的 mapreduce_shuffle 服务之外设置一个辅助的服务，那么新的服务key 应该添加到 yarn.nodemanager.aux-services 属性中,例如 mapred.shufflex. 然后属性定义相关的类必须是 yarn.nodemanager.aux-services.mapreduce_shufflex.class.

相关内容