Hadoop的Combiner，HadoopCombiner

Hadoop的Combiner，HadoopCombiner

在许多MapReduce应用的场景中，如果能在向reducer分发mapper结果之前做一下“本地化Reduce”.一wordcount为例子，如果作业处理中的文件单词中"the"出现了574次，存储并shuffling一次（“the”,574）key/valuthe对比许多次（"the",1)更有效。这个过程叫做合并(Combiner).

hadoop 通过扩展MapReduce框架，在mapper何reducer之间增加了一个combine解决了了这些瓶颈问题。你可以把combiner是为reducer的助手，它致力于减少mapper的输出以降低reducer上的压力。如果我们定义了一个combiner，MapReduce使用它的次数可以使0次，1次或者更多次。为了让combiner能正常的工作，它和reducer的数据转换必须等价。如果我们去掉了combine，reducer的输入应该是不变化的。当combiner被应用于中间数据中的任意子集时，仍然需要保持等价的转换特性。在一些场景下，combine的角色时十分明显的。假设reducer仅仅处理分配性函数，如max，min和count时，我们可以直接使用使用reducer作为combiner，但是有时候许多有用的函数不是分配性的。我们就可以重写其中的一些函数，例如求average，从而调用combiner

默认就是不排序的
 

Hadoop生态系统的终极方向必然是全功能的分布式数据仓库系统（OLAP），SQL式声明语言+用户自定义函数（UDF）解决各种类型应用，包括ETL、日志分析、交互式分析、数据探索甚至复杂的机器学习任务；同时会有更好的数据组织、内存管理、资源调度、索引构建和查询优化，新类型的硬件比如GPU，SSD和支持RDMA的网卡也会被有效利用起来。这方面微软的Drayd+Scope和Google的一些新系统走得更远，开源社区相对要落后一些。
个人观点，开源生态这块未来一段时间会是Spark/Shark on YARN（spark.incubator.apache.org，shark.cs.berkeley.edu）的天下。同时也应关注基于Spark的两个新系统：近似查询系统BlinkDB（blinkdb.org）和声明式机器学习语言MLBase（www.mlbase.org）