Question

我目前使用TransferManager从Lambda函数下载S3存储桶中的所有文件。

// Initialize
TransferManagerBuilder txBuilder = TransferManagerBuilder.standard();
// txBuilder.setExecutorFactory(() -> Executors.newFixedThreadPool(50));
TransferManager tx = txBuilder.build();
final Path tmpDir = Files.createTempDirectory("/tmp/s3_download/");

// Download
MultipleFileDownload download = tx.downloadDirectory(bucketName,
                                                     bucketKey,
                                                     new File(tmpDir.toUri()));
download.waitForCompletion();

return Files.list(tmpDir.resolve(bucketKey)).collect(Collectors.toList());

似乎需要花费300 seconds下载10,000 files（大小为~20KB each），我的转移率约为666 KBps。增加线程池大小似乎根本不会影响传输速率。

S3端点和lambda函数位于同一AWS区域，并位于同一AWS账户中。

如何优化S3下载？