是否s3cmd同步计算每个文件对列表或放置请求定价

Question

我正在使用s3cmd将帐户的压缩备份（共享托管服务器）发送到S3。我想除了发送压缩备份之外。我可以选择将我的输入服务器备份到S3并定期同步以保持备份更新。

但是，我在服务器中有超过10,000,000个文件，我不希望对列表请求收取过多费用，因为AWS每1,000个请求收费0.005美元。 （https://aws.amazon.com/s3/pricing/）

我的问题是s3cmd sync是否列出目录并检查每个文件的校验和或属性以确定是否必须更新文件，如果是，每个文件基本上都算作列表或放置请求？因此，如果我需要同步10,000,000个文件，那么每天或每周与S3同步服务器的费用为50美元，即使只需要同步50,000个文件也是如此？

Answer 1

s3cmd会发出LIST调用（每次调用最多可获得1000个对象），以及对于MD5校验和未包含在LIST结果中的对象（例如，对于通过分段上传上传的对象，通常> 15MB），是的问题HEAD调用每个对象。因此，即使10M对象上的“空”同步也会结束发出许多LIST调用，并且取决于您的对象大小，是的，许多HEAD调用。

假设您的数据集允许，您应该考虑如何同步树的（更改）子集，而不是所有10M（大多数是不变的）对象。