Dask分发的工作窃取

时间:2017-05-21 19:44:29

标签: distributed python-3.6 dask

我使用dask来分发大量任务。

所有任务都是独立的,包括运行外部应用程序。

根据使用的服务器和输入参数,处理任务的时间可能不同。

在某一点上,一些工人没有更多的任务需要处理,并等待其他工人处理剩余的任务。请参阅下面的散景截图:

enter image description here

文档讲述' work stealing'但它似乎并不适用于此。我可以强制分发以在工人之间重新分配任务吗?

1 个答案:

答案 0 :(得分:0)

我怀疑在最近的版本中已经解决了这个问题。我建议升级。