增加aws日志下载速度

Question

我将首先展示代码然后我要做的是代码：

pandas

}

我正在尝试从特定存储桶下载日志文件，并最终从许多存储桶中下载。我需要下载尽可能快，因为。有很多数据。我的问题是什么是快速下载大量数据的最有效方法？如果无法以合理的速度下载这些日志，则整个过程为零。有没有更快的方法，根据amazons doc，它已经并发了？有任何想法吗？另外，我注意到了一件奇怪的事情。如果我将并发设置为1,4或20并不重要。所有内容仍然以〜.70 - 〜/ .80 gb / min下载