标签: python pandas parquet databricks fastparquet
当我执行pd.read_parquet(“ / dbfs / XX / XX / agg.parquet”)来访问数据块的dbfs中名为agg的镶木文件时,它将返回“ IsADirectoryError”。尽管当我使用dbutils列出文件时该文件显示为文件夹,但我认为Spark可以将其读取为文件,因此可以在Spark读取中正常工作。熊猫的read_parquet模块似乎使用了fastparquet后端,那么fastparquet可能会引发错误吗?