Question

我每天将数据一次转储到 s3：// /mydata/year=*/month=*/*.snappy.parquet 作为该月的累积数据。我有一个用于对其进行爬网以更新 mydata 表的爬网程序，以及一个CW规则，该规则在爬网程序成功后会调用lambda，从而启动Glue作业以转换列并将其输出到 s3：// < bucket> / mydata-transformed / year = * / month = * / *。snappy.parquet 。此流程基本上有效。但是，我目前遇到的问题是输出数据被累加写入，而不是替换那里的数据（因为它是该月的累积数据）。例如，假设在2020年10月1日午夜，将10/1的数据转储到 s3：// /mydata/year=2020/month=10/*.snappy.parquet 。该流将在 s3：// /mydata-transformed/year=2020/month=10/*.snappy.parquet 中生成转换后的数据，所有数据都适合10/1数据。但是，第二天将10/1和10/2的数据转储到 s3：// /mydata/year=2020/month=10/*.snappy.parquet 中（覆盖前一天的文件），Glue作业将在输出文件夹中生成附加数据，即它将包含昨天运行的数据以及今天运行的数据（因此10/1数据两次，而10/2数据）。第二天是10/1数据3X，10/2数据2X和10/3数据。等等。可以确定2020/09及之前的数据，因为它们没有变化。下面是我的代码的基本结构，其中删除了样板代码，并由人为的代码替换了真实的转换。

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
DataSource0 = glueContext.create_dynamic_frame.from_catalog(database = "mydatabase", table_name = "mydata", transformation_ctx = "DataSource0")
ds_df = DataSource0.toDF()
ds_df1 = ds_df.select("year","month",upper(col('colA')),upper(col('colB')),upper(col('colC')),upper(col('colD')))
Transform0 = DynamicFrame.fromDF(ds_df1, glueContext, "Transform0")
DataSink0 = glueContext.write_dynamic_frame.from_options(frame = Transform0, connection_type = "s3", format = "parquet", connection_options = {"path": "s3://<bucket>/mydata-transformed/", "partitionKeys": ["year","month"]}, transformation_ctx = "DataSink0")
job.commit()

我该怎么做才能删除当月的前一天数据，并用当前作业中的数据替换？有没有办法知道，在我的示例中，源数据中的 month = 10 分区已更改，因此我可以在进行转换之前清除输出中的相同分区并输出新的数据？

谢谢。

[编辑] 因此，似乎一种解决方案是获取作业书签，然后使用CURR_LATEST_PARTITIONS值确定在处理数据之前应删除的分区。就我而言，当我处理2020/10时，CURR_LATEST_PARTITIONS为2020/09。所以我知道要删除2020/10的数据，因为如果CURR_LATEST_PARTITIONS为2020/09，则必须删除该数据。我不太喜欢这种解决方案，但是我认为它会起作用，而且我不确定我还能做什么。

Answer 1

您有几种选择：

DynamicFrameWriter尚不支持在S3中覆盖数据。相反，您可以使用Spark本机MUSIC_FILE。但是，对于非常大的数据集，由于单个工作人员将用于覆盖S3中的现有数据，因此效率可能会有些低下。下面是一个示例：

write()

在lambda函数中，可以在S3中使用特定前缀的删除数据。使用Python和boto3的示例是：

    sc = SparkContext()
    glueContext = GlueContext(sc)
    spark = glueContext.spark_session
    spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
    
    job = Job(glueContext)
    job.init(args['JOB_NAME'], args)
    
    DataSource0 = glueContext.create_dynamic_frame.from_catalog(database = "mydatabase", table_name = "mydata", transformation_ctx = "DataSource0")
    ds_df = DataSource0.toDF()
    ds_df1 = ds_df.select("year","month",upper(col('colA')),upper(col('colB')),upper(col('colC')),upper(col('colD')))
    ds_df1 \
        .write.mode('overwrite') \
        .format('parquet') \
        .partitionBy('year', 'month') \
        .save('s3://<bucket>/mydata-transformed/')
    
    job.commit()

您可以使用Glue的import boto3 s3_res = boto3.resource('s3') bucket = 'my-bucket-name' # Add any logic to derive required prefix based on year/month/day prefix = 'mydata/year=2020/month=10/' s3_res.Bucket(bucket).objects.filter(Prefix=key).delete()从特定前缀中删除数据。链接为here。

Answer 2

现在在glue中存在删除S3路径或删除glue目录表的功能。

AWS GLue doc

如何使用AWS Glue作业覆盖过时的分区数据？

2 个答案: