Dask的client.submit在localCluster上太慢

时间:2020-04-06 13:29:56

标签: python dask-distributed

在8台Intel Core i9 MacBook上,以下代码大约需要7秒:

from dask.distributed import Client, LocalCluster

cluster = LocalCluster(n_workers=8, threads_per_worker=1, processes=True)
client = Client(cluster)
res = []
for i in range(3000):
    r = client.submit(lambda x: x * x, i)
    res.append(r)
[i.result() for i in res]

最终,我需要使用具有更大数据集的更复杂的lambda,但是这个简单的示例似乎并不能按需工作。

0 个答案:

没有答案