在Dask中管理长时间运行的任务

时间:2018-11-09 01:07:35

标签: dask dask-distributed

我有以下用例,我想知道dask / dask-distributed中是否支持它。

我希望有一个python进程来创建到远程dask集群的客户端连接(我已经完成了这一部分)。然后提交一个需要很长时间才能运行的任务。然后打印此任务的将来的关键。然后退出。然后,我希望用户能够稍后打开python进程,并使用该键查找结果,并最终在处理完结果后将其删除。

我知道publish_dataset / get_dataset的api,但据我所知,这并不能阻止Client关闭时的未来被取消,只允许您稍后再重新启动。

我注意到已设置Client对象,因此在关闭时它会取消其拥有的所有期货,这会阻止我的上述用例。我想知道是否有更好的方法来实现我试图达到的目标,或者是否有办法让客户不要在交易结束时取消一切。

谢谢。

0 个答案:

没有答案