Question

目前，我们每1小时自动手动备份一次红移数据。假设群集关闭并且数据从快照恢复，我还想恢复快照中不存在的数据。

P.S：在我们转向红移之前，s3中存在完整的数据。

我该如何处理这个问题？这样我就可以在快照恢复后从s3获取剩余数据到红移。

Answer 1

您需要在Redshift和S3中都有一些指示符，以便您知道加载了哪些数据。

例如，如果S3上的数据按年，月，日和小时分区，则如下：

s3://my_bucket/my_prefix/year=2017/month=3/day=11/hour=10/my_file_parts.pt001.gz

然后，您希望在Redshift表中包含Year，Month，Day和Hour列，以便找到已加载的最大分区。

SELECT  MAX(year||month||day||hour) FROM my_table

然后，您可以重新加载Redshift中当前不存在的任何分区。