清除AWS Data Pipeline中DynamoDB表中的所有现有条目

Question

我的目标是获取RDS表的每日快照并将其放入DynamoDB表中。该表应仅包含一天的数据。

为此，设置数据管道以查询RDS表并以CSV格式将结果发布到S3。

然后，HiveActivity通过为文件和现有DynamoDB表创建外部表，将此CSV导入DynamoDB表。

这很好用，但前一天的旧条目仍然存在于DynamoDB表中。如果可能的话，我想在Data Pipeline中这样做。我需要：

1）找到清除DynamoDB表的方法，或者至少删除/重新创建它，或者 2）包括快照日期的额外列，并找到清除所有旧条目的方法。

关于我如何做到这一点的任何想法？

Answer 1

您可以使用DynamoDb Time to Live（TTL），它允许您设置从DynamoDb表中自动删除项目的过期时间。 TTL对于数据在特定时间段内失去相关性的情况非常有用，在您的情况下，它可能是第二天的开始时间。