标签: dask dask-distributed
尝试将任务提交给工作人员并返回结果。但是需要对工作线程执行垃圾回收,以避免现有任务增加内存。想要执行gc异步并从worker返回值,但要避免worker在gc完成之前选择新任务。
查看了分布式锁定,但不确定是否可以在这里提供帮助。还想知道secede()在这里是否有帮助。
答案 0 :(得分:0)
Python进程会定期调用gc.collect。通常无需手动调用。
gc.collect
如果需要,可以调用client.run(gc.collect)在所有Dask worker上运行此功能。
client.run(gc.collect)