Amazon S3如何扩展多个和大型文件上传?

时间:2017-07-20 06:42:56

标签: amazon-web-services amazon-s3

我正在使用AWS Python SDK将对象放入Amazon S3存储。

假设我上传了100个不同的文件(大小从MB到GB不等),Amazon S3如何处理这种情况?

我是否需要等待每个请求的成功,或者我是否可以连续上传,S3会在内部处理它吗?

如果S3处理这种情况,它是否有任何内置机制,如队列或并行处理?

1 个答案:

答案 0 :(得分:2)

Amazon S3是一个高度扩展的分布式系统,每秒处理数百万个事务。它被非常大的服务使用,使其承受的负载远远超出您的要求。例如,在欧洲,它用于存储DropBox用户的数据。

Amazon S3可以处理您的并行请求,因此您无需在请求和队列请求之间等待。可能偶尔会出现瞬态网络错误,因此您的应用程序应检测错误消息并在适当时重试。

最大的限制可能是您的互联网带宽(或分配给Amazon EC2实例的带宽)。

底线:别担心。这很重要。