如何使用分布式dask调度程序在worker上加载文件？

Question

我手动设置了一个dasch-scheduler和一个dask-worker。他们在日志方面互相看到。

我的大文件与调度程序位于同一台计算机上（我的jupyter笔记本也在其中运行）。

但是，当我使用def Vehicles(self): #---code---- label.place(relx=0.5, rely=0.5, anchor=CENTER) 加载文件时，出现了常见的dd.read_csv错误。

我了解数据位置问题，但是如何将文件透明地发送到群集？

我在documentation resource或data locality中找不到（或理解吗？）

Answer 1

您可以将文件作为Python对象（例如pandas数据框或numpy数组）加载到笔记本中，然后将其分散到工作程序中。您还可以查看Client.upload_file方法。