Storm杂谈之调度算法，storm杂谈调度


前言

scheduler是storm的调度器，它负责为Topology分配当前的集群可用资源，目前storm提供了3中调度器

EvenScheduler

本文主要就EvenScheduler做例子介绍，相信读者就这个例子就可以知道EvenScheduler的原理了
假设当前集群有3台机器，A，B， C，每个机器有3个port，如下图：


那么，当有新的Topology提交的时候，就会分配资源，这时，在获取集群可用资源后会先sort一下，代码如下： 
(defn sort-slots [all-slots]
  (let [split-up (sort-by count > (vals (group-by first all-slots)))]
    (apply interleave-all split-up)
    ))

; this can be rewritten to be tail recursive
(defn interleave-all
  [& colls]
  (if (empty? colls)
    []
    (let [colls (filter (complement empty?) colls)
          my-elems (map first colls)
          rest-elems (apply interleave-all (map rest colls))]
      (concat my-elems rest-elems))))

这段代码很关键，因为每次sort完之后，就会按顺序取slot分配给需要的Topology
由此可见，3台机器sort之后的排序为[A,1],[B,1],[C,1],[A,2],[B,2],[C,2],[A,3],[B,3],[C,3]
现在有两个Topology，T1，T2， T1需要2个slot，T2需要4个slot。
1、T1提交时，会用掉前两个slot  [A,1],[B,1]，如下图，


2、T2提交时，这时集群可用资源为 [A,2],[B,2],[C,1],[A,3],[B,3],[C,2],[C,3]（排序之后的顺序），则T2会占用  [A,2],[B,2],[C,1],[A,3],如下图：


A全部被占用，而C却只被占用了一个。由此可见，Storm现有的Scheduler会导致集群资源分配不均匀情况，而且也没有考虑worker之间的通信负载情况。
Adaptive Online Scheduling in Storm 是13年发表的论文，对storm的Scheduler的改进，详细大家看论文，这里就不做详细介绍了，论文里的scheduler，论文作者已实现，可以论文上有地址，或者e-mail我（joey.wen@outlook.com），可以把源码打包发你.
PS，360公司的大牛也对storm自身的scheduler进行了更改，见参考5 基于Storm利用空闲资源构建实时计算平台

如有讲错的地方，欢迎留言指正 转载请注明出处，谢谢

Reference

1、storm源码分析 （第7章） 2、storm的新利器Pluggable Schedule 3、http://www.dis.uniroma1.it/~midlab/articoli/ABQ13storm.pdf 4、http://www.orgs.ttu.edu/debs2013/presentations/DEBS13-Paper88-Querzoni.pdf 5、基于Storm利用空闲资源构建实时计算平台

相关内容