AWS CLI S3存储桶到存储桶复制?

时间:2020-02-03 18:30:49

标签: amazon-web-services amazon-s3

在执行aws s3 cp --recursive s3://src-bucket s3://dest-bucket命令时,它将在本地下载文件并将其上传到目标存储桶吗?还是(希望如此)整个交易都将在AWS上进行而文件不会打入您的实例化计算机?

谢谢

1 个答案:

答案 0 :(得分:3)

复制发生在AWS内。我在Ubuntu EC2实例上使用awscli进行了如下验证:

  1. 将4GB的文件上传到存储桶1:峰值 140 mbps发送,实时45秒,用户时间 32s
  2. 将bucket1同步到bucket2:峰值已发送60 kbps ,实时22秒,用户 时间2秒

注意:“实际”时间是挂钟时间,“用户”时间是用户模式下的CPU时间。

因此,使用的峰值带宽(140mbps与60kbps)和CPU使用率(32s与2s)存在显着差异。在#1的情况下,我们实际上是将4 GB的文件上传到S3,但是在#2的情况下,我们是在一个S3存储桶中将4 GB的文件复制到另一个S3存储桶,而它们没有接触到本地计算机。在情况2中使用的少量带宽与awscli显示同步进度有关。

在处理对象(aws s3 cp)和在S3存储桶之间同步对象(aws s3 sync)时,我看到了基本上相同的结果。