pyspark write.parquet（）创建一个文件夹而不是一个实木复合地板文件

Question

我尝试将pyspark数据帧写入这样的实木复合地板

df.write.parquet("temp.parquet", mode="overwrite")

，但是它将创建一个名为temp.parquet的空文件夹，而不是实木复合地板文件。可能导致此问题的原因？

Answer 1

我从here下载了hadoop.dll并将其添加到System32文件夹中，它解决了该问题。