在s3上以xml格式编写动态框架

时间:2019-12-26 13:09:42

标签: python-3.x dataframe pyspark aws-glue dynamic-frameworks

caption我想在s3上以xml格式编写动态框架。我想获取我df的一个xml文件。 我尝试了THESES行,但得到了xml文件的不同部分。 谁可以帮助我解决这个问题??

datasink4 = glueContext.write_dynamic_frame.from_options(frame = df, connection_type = "s3", connection_options = {"path": "s3://datalaketest1/temp"}, format = "xml", transformation_ctx = "datasink4")

1 个答案:

答案 0 :(得分:0)

在这种情况下,您需要重新分区为1,因此它将仅创建1个输出文件:

repartitioned_df = df.repartition(1)
datasink4 = glueContext.write_dynamic_frame.from_options(frame = repartitioned_df, connection_type = "s3", connection_options = {"path": "s3://datalaketest1/temp"}, format = "xml", transformation_ctx = "datasink4")