使用Pyspark如何将文本文件转换为CSV文件

Question

我是Pyspark的新学员。我的项目中有一个要求是使用模式读取JSON文件并需要将其转换为CSV文件。

有人可以帮助我使用PYspark来处理此请求。

Answer 1

您可以加载JSON并使用SparkSession编写CSV。

spark = SparkSession.builder.master("local").appName("ETL").getOrCreate()
spark.read.json(path-to-txt)
spark.write.csv(path-to-csv)