如何根据大小将s3大文件拆分为多个文件？

Question

我需要将50GB的s3文件拆分为每个10GB的多个文件。我们可以将aws s3 cp命令与其他选项一起使用吗？

Answer 1

您可以通过使用s3api（https://docs.aws.amazon.com/cli/latest/reference/s3api/get-object.html）指定--range来下载s3对象的一部分，s3 cmd将不支持它，您需要使用s3api，s3api支持低级命令。

如果您担心要通过并行化来加快上载过程，那么aws s3在内部就可以使用分段上载来处理更大的文件。

您还可以使用s3api实现自定义逻辑 （https://aws.amazon.com/premiumsupport/knowledge-center/s3-multipart-upload-cli/）