Hadoop 使用 MapReduce 排序 思路

Hadoop 使用 MapReduce 排序 思路

本文主要讲对key的排序，主要利用hadoop的机制进行排序。

1、Partition

partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。

2、思路

由于每个partition内部是有序的，所以只要保证各partition间有序，即可保证全部有序。

3、问题

有了思路，如何定义partition的边界，这是个问题。

解决办法：hadoop提供了一个采样器帮我们预估整个边界，以使数据的分配尽量平均