没有这样的文件或目录：... / part.0.parquet

Question

将实木复合地板文件上传到我的kubernetes集群以进行Dask处理后，尝试读取时出现FileNotFoundError

df=dd.read_parquet('home/jovyan/foo.parquet')
df.head()

这是完整的错误：

FileNotFoundError: [Errno 2] No such file or directory: '/home/jovyan/user_engagement_anon.parquet/part.0.parquet'

我可以看到该文件确实存在，并且相对于我的jupyter笔记本实例的工作目录，它位于预期的位置。

我不确定这是否重要，但是要在我的kubernetes集群上启动dask客户端，我使用了以下代码：

from dask.distributed import Client, progress

client=Client('dask-scheduler:8786', processes=False, threads_per_worker=4, n_workers=1, memory_limit='1GB')
client

此外，在具有相同拼花文件的本地计算机上，相同的操作也可以正常工作

Answer 1

问题是我使用头盔版本分别安装了dask。 因此，愚蠢的工作人员不会与jupyter笔记本共享同一文件系统

要解决此问题，我使用dask-kubernetes python库创建了worker，而不是单独的helm版本。