分析包含Dask并行化的Python

Question

我已经实现了dask.delayed（）来并行化我的项目，结果，我不再能够通过使用cProfile对项目进行性能分析来获得有用的信息-现在，配置文件中的大部分时间现在都被记为{{1} }并没有告诉我有关实际函数调用所花费的时间。

重新编写脚本以暂时禁用Dask的简短操作，是否还有另一种分析方法可以提供有关被调用函数的运行时间的信息？

Answer 1

您最好的选择是使用分布式调度程序及其仪表板的“分析”选项卡。详细信息在this documentation中。请注意，探查器是 statistical ：它定期采样每个工作线程的调用堆栈，并根据该信息构建显示。