在S3上解压缩大量文件

Question

我在s3上有300,000个压缩的JSON文本文件，并试图找出最有效的方法来解压缩它们并将其保留在S3上。我可以下载，解压缩，上传，删除压缩后的版本，但是事实证明这很慢。

有什么想法吗？

Answer 1

您可以考虑编写一个lambda函数来执行下载/解压缩/上传功能，然后使用诸如S3 Batch操作之类的功能将该lambda应用于所有S3对象。

https://aws.amazon.com/blogs/aws/new-amazon-s3-batch-operations/