是否有可能估计Dask操作的执行时间

Question

我知道它对于运行代码的环境非常具体，但是如果dask预先将其执行计划计算到DAG中，有没有办法了解执行应该花多长时间？

一旦执行正在运行，进度条是一个很好的帮助，但是可以事先了解一系列操作应该花多长时间？

Answer 1

简答

没有

解释

Dask调度程序只执行Python函数。它没有考虑它们来自何处或它们所代表的更广泛的背景（例如，数据帧连接或矩阵乘法）。从它的角度来看，它刚刚被要求执行不透明函数调用的图形。这种普遍性是一个弱点（难以进行高水平分析），也是Dask的主要优势，因为它可以应用于任何特定领域或专业之外的各种各样的问题。

分布式调度程序 维护每个函数的持续时间的指数加权平均值，可以用于创建任务图的估计值。如果您对构建此内容感兴趣，我会在scheduler.py文件中搜索task_duration。