pandas.read_parquet在Azure Databricks笔记本中返回'IsADirectoryError'

时间:2019-11-22 18:33:09

标签: python pandas parquet databricks fastparquet

当我执行pd.read_parquet(“ / dbfs / XX / XX / agg.parquet”)来访问数据块的dbfs中名为agg的镶木文件时,它将返回“ IsADirectoryError”。尽管当我使用dbutils列出文件时该文件显示为文件夹,但我认为Spark可以将其读取为文件,因此可以在Spark读取中正常工作。熊猫的read_parquet模块似乎使用了fastparquet后端,那么fastparquet可能会引发错误吗?

0 个答案:

没有答案