MR作业Container资源计算方式

MR作业Container资源计算方式

Container for task

memory

• 单位：mega bytes
• 默认值：1024
• 首选"mapreduce.map|reduce.memory.mb" 默认值：0
• 其次
  • 获取-Xmx配置的heapsize
    • 配置项首选 "mapreduce.map|reduce.java.opts"
    • 其次 "mapred.child.java.opts" 默认值：-Xmx200m
  • xmx浮动
    • 浮动比例："mapreduce.xmx.overflow.memory.percent" 默认值：0.1
    • 浮动量："mapreduce.xmx.overflow.memory.mb" 默认值：128
    • 综合：xmx = ceil(xmx * (1 + 0.1) + 128 * 1.0) 即默认200*1.1 + 128 = 348

cpu

• 单位：vcore
• 默认值：1
• 配置项："mapreduce.map|reduce.cpu.vcores"

Container for appmaster

memory

• 单位：mega bytes
• 默认值：1536
• 配置项："yarn.app.mapreduce.am.resource.mb"

cpu

• 单位：vcore
• 默认值：1
• 配置项："yarn.app.mapreduce.am.resource.cpu-vcores"

调度器控制

memory

• 单位：mega bytes
• 申请最小值："yarn.scheduler.minimum-allocation-mb" 默认值：1024
• 申请最大值："yarn.scheduler.maximum-allocation-mb" 默认值：8192

cpu

• 单位：vcore
• 申请最小值："yarn.scheduler.minimum-allocation-vcores" 默认值：1
• 申请最大值："yarn.scheduler.maximum-allocation-vcores" 默认值：4