我正在将具有500000个小型XML文件的1.8 GB数据上传到S3存储桶中。 当我从本地计算机上载它时,它花费了非常长的时间7个小时。
当我将其压缩并上传后,需要5分钟的时间。
但是我的问题是我不能简单地对其进行压缩,因为稍后我需要在AWS中添加一些东西来对其进行解压缩。
有什么办法可以使上传速度更快?文件名不同,没有运行编号。 启用了传输加速。
请建议我如何优化它?
答案 0 :(得分:1)
您始终可以将zip文件上传到EC2实例,然后在那里解压缩并将其同步到S3存储桶。
实例角色必须具有将对象放入S3的权限,才能正常工作。
我还建议您在执行此操作之前先研究配置S3 VPC网关端点:https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints.html