将大量文件上传到S3中非常慢

时间:2018-08-30 06:06:06

标签: amazon-web-services amazon-s3

我正在将具有500000个小型XML文件的1.8 GB数据上传到S3存储桶中。 当我从本地计算机上载它时,它花费了非常长的时间7个小时。

当我将其压缩并上传后,需要5分钟的时间。

但是我的问题是我不能简单地对其进行压缩,因为稍后我需要在AWS中添加一些东西来对其进行解压缩。

有什么办法可以使上传速度更快?文件名不同,没有运行编号。 启用了传输加速。

请建议我如何优化它?

1 个答案:

答案 0 :(得分:1)

您始终可以将zip文件上传到EC2实例,然后在那里解压缩并将其同步到S3存储桶。

实例角色必须具有将对象放入S3的权限,才能正常工作。

我还建议您在执行此操作之前先研究配置S3 VPC网关端点:https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints.html