使用python一次从一个s3存储桶传输1000个文件

Question

我想将文件从一个s3存储桶复制到另一个存储桶。但问题是我只想一次传输1000个文件，总共有300,000个文件。另一件事是我希望在批次间转15秒。

我写了下面的代码，从一个s3复制到另一个s3但服务器卡住了。所以请帮我解决这个问题。

aws s3 cp s3://sources3bucket/ s3://dests3bucket --recursive

提前致谢！

Answer 1

您可以使用AWS步骤功能将文件从一个Bucket复制到另一个Bucket。步骤涉及

• 根据给定的源存储桶参数编写Lambda函数以从源复制文件，并将其保存到目标存储桶。
• 设置步骤功能工作流程
• 您还可以在工作流程中添加15秒的延迟。

有关详细信息，请参阅AWS Compute Blob中的博客文章Synchronizing Amazon S3 Buckets Using AWS Step Functions。

示例代码可在SyncBucketsStateMachine Github存储库中找到。