我有每天工作的胶水工作, 我正在寻找一个覆盖分区的函数,或者使用Gluedynamic在s3存储桶中创建新函数 以下是我的pyspark脚本,用于将数据写入S3存储桶
glueContext.write_dynamic_frame.from_options(
frame=df ,
connection_type="s3",
connection_options={"path": output, "partitionKeys": ["date"]},
format="json")
是否可以覆盖Glue中的动态功能