Question

我遇到过一个问题，即如果在短时间内提交了大量任务，dask调度程序会被杀死（尽管工作人员继续运行）并且内存错误。

如果可以在群集上获得当前任务数，则可以轻松控制提交到群集的并发任务的数量。

注意：任务正从多个客户端提交给同一个调度程序。

Answer 1

您可以使用client.run_on_scheduler方法在调度程序上运行任意Python函数。

使用此功能，您可以查看任何您喜欢的scheduler state。

client.run_on_scheduler(lambda dask_scheduler: dask_scheduler.tasks)

请注意，调度程序可以处理数百万个任务。如果你接近这个，那么你应该重新考虑如何使用Dask。为获得最佳性能，您应该选择需要花费数百毫秒或更长时间的任务。