在集群中重新分配dask任务

Question

我正在使用map（，pure = False）滥用dask作为长期运行任务的任务调度程序。所以我对dask图不感兴趣，我只是用黑暗作为分配unix命令的方法。

让我们说如果有1000个任务，他们在一个由30名工人组成的集群上运行一周。我所看到的是，如果一名工人倒闭，其任务将重新分配给剩余的工人。

有时我可以从其他模拟中释放资源，并将新工作人员添加到桌面群集中。但是，这些工作人员分配了0个任务并且闲置。如果其中一个旧工作人员失败，他们只会获得新任务，然后重新分配任务。

所以，我的问题是：“我可以手动重新分配和重新分配dask集群上的任务吗？”

Answer 1

调度程序应该已经在将旧任务与新工作进行平衡。有关我们的工作窃取政策的信息，请点击此处：

http://distributed.readthedocs.io/en/latest/work-stealing.html

因此，我听说任务不会自动重新平衡。如果您能够制作mcve来重现问题，我很乐意看看。