如何使用AWS CLI将文件超过5gb流式传输到s3?

时间:2017-12-06 20:41:39

标签: amazon-web-services amazon-s3

我知道我可以在java中使用传输管理器,但我大部分时间都使用bash + AWS CLI,而且常见的任务是将大文件上传到s3流。

dd if=/dev/zero of=/dev/stdout bs=1 count=0 seek=6G | aws s3 cp - s3://mybucket/myfile

如何仅使用AWS CLI获得上述功能的相同功能?目前它将文件存档超过5GB。

1 个答案:

答案 0 :(得分:3)

使用此参数:

- expected-size(string)

此参数以字节为单位指定流的预期大小。请注意,仅当将流上载到s3且大小大于5GB时才需要此参数。如果未能在这些条件下包含此参数,可能会导致上传失败,因为上传的部分太多。

http://docs.aws.amazon.com/cli/latest/reference/s3/cp.html