正在等待外部依赖项

Question

上下文： 我正在使用自定义dask图来管理和分发计算。

问题： 一些任务包括读取在dask之外生成的文件，并且在调用dask.get(graph,result_key)时不一定可用。

问题： 不允许I / O任务等待文件，因为这会阻止工作人员。是否有（或可能是）让dask等待文件可用并随后执行I / O任务的好方法？

非常感谢您的想法！

Answer 1

听起来here描述了您可能想使用Dask的一些更实时功能。

您可以考虑创建使用secede和rejoin或使用异步等待样式编程的任务，并且仅在客户端进程注意到它们存在时才启动任务。