AWS Glue:使用pyspark将json对象写入文件

时间:2018-03-15 16:44:20

标签: amazon-web-services pyspark aws-glue

有没有办法从ETL Glue脚本中将一个简单的json对象写入text或json文件,而无需将其转换为DataFrame?现在我正在使用

schema = //my schema
row = Row(my_json_object)
df = spark.createDataFrame([row], schema)
df.write.mode('append').json(s3_path)  

但我想避免创建数据帧,只需将my_json_object写入s3中的文件。

0 个答案:

没有答案