OSTC 2015,ostc2015


上周六去北京参加了OSTC 2015开源技术大会,并分享了《Spark技术内幕》,主要涵盖了Spark Core的核心实现。我主要以WordCount为例,讲解了任务调度的具体实现,资源分配和Shuffle细节,也对Storage模块进行了概述。短短的45分钟实际上包含不了更多的内容,但是从大家的提问看,大家还是非常关注系统实现的,并且也希望从系统实现来为自己的服务提供更有力的支撑。

回来后,有人说,如果没有Apache,那么是不是对资深码农更好?。。。Apache是互联网的基石,没有了Spark,互联网最少要倒退几年吧。还有,就是开源社区的商业模式,实际上,并不是有太多的公司可以独立开发一套新系统的,中国的话BAT除外吧。比如Mysql,与其花费不少的代价雇佣一个高级的DBA,不如买个service,不单专业,而且靠谱;再说了,牛人不一定去所谓的小公司的。

去赶高铁了。最近太忙了,大家别来无恙。。

相关内容

    暂无相关文章