S3分段上传是否实际上在我的存储桶中创建了多个对象?

时间:2017-01-31 00:56:51

标签: file-io amazon-s3 filesystems

以下是我试图理解引擎盖机制的一个例子。

我决定将2GB文件上传到我的S3存储桶,我决定使用128MB的大小。然后我会

(2 * 1024) / 128 => 16 parts

以下是我的问题:

  • 我是否会在我的桶中看到16个128MB的对象或一个2GB的对象 我的桶里的物品?

  • S3如何理解部件的顺序(1-> 2-> ...-> 16)和 我下载它们时将它们重新组装成一个2GB的文件?是 我需要首先下载一个额外的'meta'对象(参见上面的问题)以帮助客户实现这种重新组装所需的信息吗?

  • 当s3客户端并行下载以上版本时,它会在什么时间在本地文件系统中写入这个2GB文件的文件描述符(我想它在下载所有部分之前并不知道所有需要的信息) ?

1 个答案:

答案 0 :(得分:1)

在上传各个部分时,Amazon S3中将存储多个上传,您可以使用ListMultipartUploads命令进行查看。

使用CompleteMultipartUpload命令完成分段上传时,您必须指定以正确顺序上传的各个部分的列表。然后,上传内容将合并为一个对象

下载取决于您使用的客户端/代码 - 您可以并行下载对象,也可以只下载单线程。