如何将数据从 s3 存储桶迁移到冰川？

Question

我有一个带有 pdf 文件的 TB 大小的 S3 存储桶。我需要将旧文件迁移到冰川。我知道我可以创建生命周期规则来迁移超过特定天数的文件。但就我而言，目前该存储桶由旧的和新的 pdf 文件组成，并且它们是同时添加的。所以他们可能有相同的上传日期。在这种情况下，生命周期规则将没有用处。

在 pdf 文件中有一个名为 capture_date 的字段。所以我需要根据 capture_date 迁移这些文件。 （即：如果 capture_date < 2015-05-21 同样迁移所有 pdf 文件）。

Fargate 作业在这里有用吗？如果是这样，请简要说明。

请提出您的想法。提前致谢

Answer 1

S3 本身不会读取您的 pdf 文件。因此，您必须自己阅读它们，提取确定哪些数据是旧的和新的数据，然后使用 AWS 开发工具包（或 CLI）将它们移动到 Glacier。

由于文件不是太大，您可以使用 S3 Batch 和 lambda 函数将类更改为冰川。

或者，您可以在 EC2 实例上执行此操作，使用 S3 Inventory 的对象的 CSV 列表（假设有大量对象）。

最传统的方法是列出您的存储桶，然后遍历每个对象。