工作窃取(work-stealing)算法

工作窃取(work-stealing)算法是指某个线程从其他队列里窃取任务来执行。

并行分治计算中的一种Work-stealing策略

那么为什么需要使用工作窃取算法呢?假如我们需要做一个比较大的任务,我们可以把这个任务分割为若干互不依赖的子任务,为了减少线程间的竞争,于是把这些子任务分别放到不同的队列里,并为每个队列创建一个单独的线程来执行队列里的任务,线程和队列一一对应,比如A线程负责处理A队列里的任务。但是有的线程会先把自己队列里的任务干完,而其他线程对应的队列里还有任务等待处理。干完活的线程与其等着,不如去帮其他线程干活,于是它就去其他线程的队列里窃取一个任务来执行。而在这时它们会访问同一个队列,所以为了减少窃取任务线程和被窃取任务线程之间的竞争,通常会使用双端队列,被窃取任务线程永远从双端队列的头部拿任务执行,而窃取任务的线程永远从双端队列的尾部拿任务执行。

在机群尤其是共享式多用户机群环境中提高非规则问题的并行计算效率是一项具有挑战性的工作.给出了一种适于多核处理器节点构成的机群的层次Work-stealing负载均衡策略(简称HWS),它能够有效利用节点的动态变化的可用计算资源.分析了分治计算问题中的动态性与非规则性,并使用HWS策略对分治计算问题进行了动态负载均衡(DLB)实验.实验表明,HWS在加速比、CPU利用率和负载分布等性能指标上均优于Work-sharing和Satin-CRS策略.

  • 优点:充分利用线程进行并行计算,减少线程间的竞争。
  • 缺点:在某些情况下还是会存在竞争,比如双端队列里只有一个任务时。并且该算法会消耗更多的系统资源, 比如创建多个线程和多个双端队列。

在Java中:

可以使用LinkedBlockingDeque来实现工作窃取算法
JDK1.7引入的Fork/Join框架就是基于工作窃取算法


京ICP备16050413号-2