能够锁定dask工作者,直到完成某些发布任务/步骤

时间:2019-09-20 19:19:33

标签: dask dask-distributed

尝试将任务提交给工作人员并返回结果。但是需要对工作线程执行垃圾回收,以避免现有任务增加内存。想要执行gc异步并从worker返回值,但要避免worker在gc完成之前选择新任务。

查看了分布式锁定,但不确定是否可以在这里提供帮助。还想知道secede()在这里是否有帮助。

1 个答案:

答案 0 :(得分:0)

Python进程会定期调用gc.collect。通常无需手动调用。

如果需要,可以调用client.run(gc.collect)在所有Dask worker上运行此功能。