将文件从本地系统复制到aws s3存储桶

Question

我正在尝试使用以下复制命令将文件从我的本地系统复制到aws s3存储桶：

aws s3 cp folder/ s3://xxx/yyy/folder --recursive

只复制较小尺寸的文件，但复制的文件较大（例如：5MB）文件。我收到的错误如connection reset by peer, write operation timed-out。

我也找了链接：

https://github.com/aws/aws-cli/issues/634

但没有任何作用。请帮我解决这个问题。提前谢谢。

我的版本：

aws --version：

aws-cli/1.9.2 
Python/2.7.3 
Linux/3.5.0-27-generic 
botocore/1.3.2

Answer 1

您可以使用以下参数

  

- page-size（整数）每个响应列表操作返回的结果数。默认值为1000（允许的最大值）。   如果操作超时，则使用较低的值可能会有所帮助。

设置为100应有助于解决您的问题

Answer 2

您也可以使用Minio client aka mc。 mc mirror命令可以做到这一点，它是开源的。 Minio客户端将本地负责多部分上传，并且在断开连接之前，它将从它离开的位置开始上传。

$ mc mirror folder S3alias/folder

请随时查看https://docs.minio.io/docs/minio-client-quick-start-guide以获取详细信息。

希望它有所帮助。

免责声明：我为Minio

工作