从Amazon S3通过单个操作下载多个对象

时间:2015-09-27 14:23:09

标签: c# rest amazon-s3

使用Amazon REST API,是否可以通过一次操作在一个Bucket中下载多个文件? 例如,压缩所有对象并将它们下载为一个文件?

请注意,我正在寻找运营效率而非定制解决方案。 例如,我是从S3下载每个单独的文件并自己创建ZIP文件,对于100个1.5MB大小的文件,操作可能需要40秒,我正在寻找一个允许我在10秒内完成此操作的解决方案

1 个答案:

答案 0 :(得分:1)

在S3中没有可以执行此操作的REST调用。

毫无疑问,传输带宽可能不会影响您的流程所花费的大部分时间。

最可能的解决方案是使用多线程或异步I / O(取决于您的语言和环境)将请求发送到并行组中的S3,并在成功获取所有所需对象后组合结果

当然,如果你正在做的事情,现在,不重用用户代理的连接,以便你可以利用HTTP保持活动,你应该看到一些性能改进,如果你可以启用该功能,避免不必要的重复连接设置(可能还有SSL协商)。