Question

如果我将数据对象预分散到多个工作节点上，是否会将它完整地复制到每个工作节点上？如果该数据对象很大，这样做有好处吗？

以futures界面为例：

client.scatter(data, broadcast=True)
results = dict()
for i in tqdm_notebook(range(replicates)):
    results[i] = client.submit(nn_train_func, data, **params)

以delayed界面为例：

client.scatter(data, broadcast=True)
results = dict()
for i in tqdm_notebook(range(replicates)):
    results[i] = delayed(nn_train_func, data, **params)

我问的原因是因为我注意到以下现象：

如果我预分散数据，则delayed似乎会将数据重新发送到工作程序节点，从而使内存使用率大约增加了一倍。看来预分散并没有按照我的预期做，这允许工作节点引用预分散的数据。
futures接口需要很长时间才能遍历循环（明显更长）。我目前不确定如何确定这里的瓶颈。
使用delayed接口，从调用compute()函数的时间到活动在仪表板上反映的时间，存在很大的延迟，我怀疑这是由于数据复制造成的。

Answer 1

预分散旨在避免将大对象数据放入任务图中。

x = np.array(lots_of_data)
a = client.submit(add, x, 1)  # have to send all of x to the scheduler
b = client.submit(add, x, 2)  # again
c = client.submit(add, x, 3)  # and again

您会感到痛苦，因为client.submit的返回速度会很慢，并且Dask甚至会发出警告。

因此，我们分散了数据，得到了未来的回报

x = np.array(lots_of_data)
x_future = client.scatter(x)
a = client.submit(add, x_future, 1)  # Only have to send the future/pointer
b = client.submit(add, x_future, 2)  # so this is fast
c = client.submit(add, x_future, 3)  # and this

在您的情况下，您几乎要这样做，唯一的区别是您分散了数据，然后忘记了将来返回的数据，然后再次发送数据。

client.scatter(data, broadcast=True)  # whoops!  forgot to capture the output
data = client.scatter(data, broadcast=True)  # data is now a future pointing to its remote value

您可以选择是否broadcast。如果您知道所有员工都需要此数据，那么这不是一件坏事，但是无论如何都会没事的。

在Dask中预分散数据对象是否有优势？

1 个答案: