S3批量数据更新

Question

我有一堆json文档，这些文档具有存储在S3存储桶中的相同字段集。为了将所有这些记录的状态字段从“待处理”更新为“完成”，我应该一个接一个地获取文档，更新状态字段并将它们一个接一个地返回到S3，还是可以批量处理？使用S3键更新S3中的这些文档？

Answer 1

对于大量对象，我会考虑使用Amazon S3 Batch Operations进行此操作。您可以使用boto3编写一个简单的Lambda函数，以从S3获取对象，更新内容，然后将对象放回S3。 S3 Batch将为每个对象编排调用Lambda。

对于少量对象，这可能是过大的了，您可以简单地使用boto3枚举对象，将它们一个接一个地进行修改，然后再放回去。