将Parquet转换为JSON

时间:2018-05-14 17:57:10

标签: json apache-spark pyspark parquet

如何使用PySpark将带有空字段的Parquet文件转换为JSON。我需要在输出JSON文件中将空字段设置为零。我试着写

df.withColumn('x', when(
        col('x').isNull(),
        0.0
    ).otherwise(col('x'))

有没有更好的方法呢?

0 个答案:

没有答案