我使用以下命令将dask数据框架保存为带分区的镶木地板:
df.to_parquet('some path', engine='pyarrow',
partition_on=['Year','Month','Day'], write_index=True)
之后我使用以下命令加载了相同的镶木地板文件夹:
df = dd.read_parquet(path, engine='pyarrow')
问题是,如何获取用作分区列的列? 如果我尝试以正常方式访问它们,例如df.Day或df.Year,它们不会出现在数据框中。我曾尝试使用Pandas加载相同的镶木桌,并且列与其他所有列一样。
有没有人知道,如何在dask数据框中访问分区列?
非常感谢任何帮助!
最佳, 迈克尔