通过避免生成空的$ folders,有没有一种方法可以使用AWS Glue作业在AWS S3中输出实木复合地板文件

时间:2019-11-14 14:20:23

标签: amazon-web-services parquet aws-glue

df.write.option("header", "true")\
        .option("quoteMode", "NONE")\
        .option("escape", "\\")\
        .parquet(path=s3_output_path, mode="append")

我正在Glue脚本中使用以上代码来输出镶木地板文件。 但是,我面临着为S3存储桶中的每个文件夹

创建的 $ objects 空的问题

enter image description here

0 个答案:

没有答案