我有以下用例,我想知道dask / dask-distributed中是否支持它。
我希望有一个python进程来创建到远程dask集群的客户端连接(我已经完成了这一部分)。然后提交一个需要很长时间才能运行的任务。然后打印此任务的将来的关键。然后退出。然后,我希望用户能够稍后打开python进程,并使用该键查找结果,并最终在处理完结果后将其删除。
我知道publish_dataset
/ get_dataset
的api,但据我所知,这并不能阻止Client
关闭时的未来被取消,只允许您稍后再重新启动。
我注意到已设置Client
对象,因此在关闭时它会取消其拥有的所有期货,这会阻止我的上述用例。我想知道是否有更好的方法来实现我试图达到的目标,或者是否有办法让客户不要在交易结束时取消一切。
谢谢。