我们有与本机代码交互的作业,并且在工作人员处理任务时不可避免的内存泄漏。解决我们问题的简单方法是在指定数量的任务后重新启动工作程序。
我们正在从python的多处理程序迁移,该处理程序具有有用的 maxtasksperchild 选项,该选项可在指定数量的任务后关闭工作程序。
在dask中是否有与 maxtasksperchild 相当的内置东西?
作为一种解决方法,我们通过将工人地址附加到结果有效负载上并手动在客户端调用 retire_workers 来跟踪已完成任务的工人。
答案 0 :(得分:0)
不,Dask中没有这样的功能