增加aws日志下载速度

时间:2015-12-18 18:32:30

标签: amazon-web-services go amazon-s3 download

我将首先展示代码然后我要做的是代码:

pandas

}

我正在尝试从特定存储桶下载日志文件,并最终从许多存储桶中下载。我需要下载尽可能快,因为。有很多数据。我的问题是什么是快速下载大量数据的最有效方法?如果无法以合理的速度下载这些日志,则整个过程为零。有没有更快的方法,根据amazons doc,它已经并发了?有任何想法吗?另外,我注意到了一件奇怪的事情。如果我将并发设置为1,4或20并不重要。所有内容仍然以〜.70 - 〜/ .80 gb / min下载

0 个答案:

没有答案