将许多S3存储桶移动到Glacier

Question

我们有大量 S3存储桶，正在进行清理工作。我们将 Glacier 确定为归档其数据的好方法。计划是存储这些存储桶的内容，然后将其删除。 这将是一次性操作，我们不需要自动化的东西。

我知道：

• 如果有一天我们想要恢复它，则可能无法使用存储桶名称
• 每个文件的索引开销约为40kb，这使得它成为一个不太经济实惠的小文件解决方案，更好地使用不常访问存储类或压缩内容

我尝试了一下并创建了一个保险库。但我无法运行 aws glacier 命令。我收到一些SSL错误，这显然与 Python 库有关，我在 Mac 或某个专用容器上运行它。

此外，直接使用 Glacier API （并保留正确的文件信息）似乎很痛苦，并且通过专用存储桶使用它更为简单。

那怎么样？在 AWS 中有什么可以做的吗？或者以不太挑剔的方式做任何建议？你会推荐什么工具？

Answer 1

哇，这么多问题！

有两种方法可以使用Amazon Glacier：

• 在Amazon S3存储桶上创建Lifecycle Policy ，以将数据存档到Glacier。对象仍然出现在S3中，包括它们的安全性，大小，元数据等。但是，它们的内容存储在Glacier中。通过此方法存储在Glacier中的数据必须恢复为S3才能访问内容。
• 通过AWS API直接向Amazon Glacier发送数据。必须通过API恢复以这种方式发送的数据。

Amazon Glacier对存储量收费，加上每个请求。在Glacier中存储许多小文件效率较低。相反，建议创建更少，更大的文件的档案（例如zip文件）。这可能会使检索特定文件变得更加困难。

如果您要直接使用Glacier， 更容易使用实用程序，例如Cloudberry Backup，但这些实用程序旨在从计算机备份到Glacier。他们可能不会将S3备份到Glacier。

如果数据已经在Amazon S3中，最简单的选择是创建生命周期策略。然后，您可以使用S3管理控制台和标准S3工具来访问和恢复数据。