分布式的dask：将驻留在不同工作者上的向量集合起来

Question

我有大量的向量是根据不同的数据计算的，因此它们驻留在不同的工作程序上。以下代码最有效吗？

grads = [client.submit(compute_grad, x) for x in xs] # list of futures
gradsum_future = client.compute(db.from_sequence(grads).fold(operator.add))
gradsum = client.gather(gradsum_future)

Answer 1

下面是我将如何实现它-对您有用吗？

grads = client.map(compute_grad, xs)
gradsum_future = client.submit(sum, grads)
gradsum = gradsum _future.result()