使用Amazon REST API,是否可以通过一次操作在一个Bucket中下载多个文件? 例如,压缩所有对象并将它们下载为一个文件?
请注意,我正在寻找运营效率而非定制解决方案。 例如,我是从S3下载每个单独的文件并自己创建ZIP文件,对于100个1.5MB大小的文件,操作可能需要40秒,我正在寻找一个允许我在10秒内完成此操作的解决方案
答案 0 :(得分:1)
在S3中没有可以执行此操作的REST调用。
毫无疑问,传输带宽可能不会影响您的流程所花费的大部分时间。
最可能的解决方案是使用多线程或异步I / O(取决于您的语言和环境)将请求发送到并行组中的S3,并在成功获取所有所需对象后组合结果
当然,如果你正在做的事情,现在,不重用用户代理的连接,以便你可以利用HTTP保持活动,你应该看到一些性能改进,如果你可以启用该功能,避免不必要的重复连接设置(可能还有SSL协商)。