Hadoop新版和旧版中InputSplit大小的区别

Hadoop新版和旧版中InputSplit大小的区别

Hadoop旧版中InputSplit的个数由下面三个参数决定：

goalSize：totalSize/numSpilt.totalSize为文件大小，numSplit为用户设定的map task个数，默认为1.

minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.

blockSize：HDFS中块的大小.

splitSize = max(minSize,min(goalSize,blockSIze))

新版：

maxSize：由配置参数mapred.max.split.size确定，已经不再考虑用户设定的map task个数.

minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.

blockSize：HDFS中块的大小.

splitSize = max(minSize,min(maxSize,blockSIze))