并行dask for循环比常规循环慢？

Question

如果我尝试使用dask并行化for循环，它最终会比常规版本执行得慢。基本上，我只是按照dask教程中的介绍性示例，但由于某种原因，它在我的结束时失败了。我做错了什么？

channel_not_found

Answer 1

两个问题：

1. Dask介绍了每个任务的毫秒开销。您希望确保计算时间明显长于此。
2. 使用多处理调度程序时，数据会在进程之间进行序列化，这可能非常昂贵。请参阅http://dask.pydata.org/en/latest/setup.html