如果存在,则覆盖分区或使用Glue

时间:2020-03-06 04:36:00

标签: amazon-s3 pyspark aws-glue

我有每天工作的胶水工作, 我正在寻找一个覆盖分区的函数,或者使用Gluedynamic在s3存储桶中创建新函数 以下是我的pyspark脚本,用于将数据写入S3存储桶

glueContext.write_dynamic_frame.from_options(
            frame=df ,
            connection_type="s3",
            connection_options={"path": output, "partitionKeys": ["date"]},
            format="json")

是否可以覆盖Glue中的动态功能

0 个答案:

没有答案