S3上传高磁盘I / O和CPU使用率

Question

当我尝试通过非常简单的go s3 uploader将100Gb的小文件（PNG图像）上传到S3存储桶时，我遇到了高CPU和I / O使用情况。

有没有办法限制带宽（即通过aws-sdk-go配置）或其他东西来使上传过程不那么密集或有效:)以减少CPU和I / O使用。

我尝试过很好的CPU和IO，但实际上并没有帮助。

Answer 1

你试过S3Manager，https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/吗？来自文档：

包s3manager提供了从S3同时上传和下载对象的实用程序。在处理大型物体时很有帮助。