aws s3上传优化,使用java sdk

时间:2016-12-02 08:55:55

标签: java amazon-s3

现在,我有一台服务器接受媒体流并记录到mp4文件,并上传到s3,当并发级别很高时,我发现它是s3上传,花费最多的CPU,当我监控时IO,我还发现cpu成本随IO输出变为s3,IO(out)速率不稳定。

所以我想知道是否有一些方法可以用来控制上传到s3的速度?例如,当第二个IO速率太高时,我会使速度变慢,因此它可以在每秒之间划分总文件。而且我也想知道如果降低cpu成本是可行的。

我希望有人可以帮助我,谢谢并原谅我的英语不好。

1 个答案:

答案 0 :(得分:1)

AWS S3没有为我所知道的减慢传输速度提供任何解决方案,但是,您可以尝试使用multipart uploads (中文)将上传内容分成多个并发流。这可能会使您的上传更易于管理。

请注意,对于小于5MB的文件,您不能使用此技术,因为每个上传部分必须至少为5MB(最后一部分除外)。感谢@michael - sqlbot进行更正)

(你的英文很好,我可以懂你)