将s3上的多个zip文件合并为更少的zip文件

Question

我们遇到一个问题，其中s3目录中的某些文件在~500MiB范围内，但许多其他文件都在KiB和Bytes中。我想将所有小文件合并到更少的大约500MiB的文件中。

在s3文件夹中重写数据的最有效方法是什么，而不必下载，在本地合并并推回到s3。是否有一些实用程序/ aws命令可用于实现它？

Answer 1

S3是一种存储服务，没有计算能力。对于你的要求，你需要计算（合并）。如果没有下载，合并和上传，你就无法做到你想做的事。