标记用glugContext.write_dynamic_frame编写的s3对象

时间:2019-05-28 17:52:23

标签: amazon-s3 pyspark pyspark-sql aws-glue

我正在使用AWS Glue ETL作业通过其PySpark API提取一些数据集;即从S3对象加载DynamicFrame,进行一些转换,最后将结果写到S3的某个位置(使用glueContext.write_dynamic_frame.from_options)或目录(使用glueContext.write_dynamic_frame.from_catalog)。

为使事情井井有条,我们制定了一些政策,如果未正确标记对象,则会阻止在目标位置创建对象。

我想知道是否有一种方法可以标记在写过程中创建的s3对象。

1 个答案:

答案 0 :(得分:0)

无法使用Glue API。您可能必须使用S3 Boto库来添加标签。