使用Python向AWS S3进行批量复制请求

Question

我编写了一个lambda函数，将s3存储桶中的文件复制到另一个s3存储桶中，我需要移动大量这些文件。为了满足容量需求，我正在寻找一种将这些请求批量发送到S3的方法，以减少开销。但是我找不到有关如何在Python中执行此操作的任何信息。 boto3文档中有一个Batch类，但我无法理解它的工作原理甚至是实际的工作。

Answer 1

没有底层的Amazon S3 API调用可以在一个请求中复制多个文件。

最好的选择是并行发出请求，以便它们更快地执行。

boto3 Transfer Manager 可能可以为此提供帮助。

旁注：没有S3的“移动”命令。相反，您需要复制，然后删除。只是为其他读者提起它。