如何在分区文件上创建Dataframe

Question

我在一个文件夹中有1000多个镶木地板文件，这是一个分区文件夹。 现在我们需要使用这些文件对它执行一些转换。 我需要使用那些镶木地板文件创建数据框。有什么建议？

Answer 1

尝试以下代码：

DF = sqlContext.read.parquet(r"<folderpath>/*") 

*表示指定文件夹下的所有文件。

DF将是一个数据框，其中包含<folderpath>内所有镶木地板文件的数据。然后，您可以在DF上执行转换。