hadoop3.0x 后要比spark快10倍！，hadoop3.0xspark


Apache  hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据

其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。

hadoop 3.0后会大改mapreduce 计算模型，就让我们拭目以待吧！

目前hadoop版本是2.6


相关内容