python aws s3文件分发

Question

我期待this教程。我想知道无论如何要在不同的对象上分发大量的文件。作为示例，假设我有大小为60 GB的视频文件，并且我有大小为4 x 15 GB的S3小程序。现在我如何拆分我的文件以保持这些大小的存储。如果你能分享任何教程我会很高兴。

Answer 1

S3存储桶没有大小限制，因此通常没有理由在存储桶之间拆分文件。

如果你真的想要在存储桶之间拆分文件（我不建议这样做），你可以将前25％的字节写入存储桶A中的对象，接下来25％的字节写入存储桶B中的对象等等。但是这个中等复杂（您必须拆分源文件并仅上传相关字节），然后您必须处理以后组合它们以便检索完整文件。

为什么要在存储桶之间拆分文件？

Answer 2

查看此AWS文档。我认为这会很有用。

http://docs.aws.amazon.com/AmazonS3/latest/dev/UploadingObjects.html

链接的导入部分如下：

  

根据您上传的数据大小，Amazon S3提供以下选项：

在单个操作中上传对象 - 使用单个PUT操作，您可以上传最大5 GB的对象。 有关更多信息，请参阅在单个操作中上载对象。 部分上传对象 - 使用分段上传API，您可以上传最大5 TB的大型对象。 分段上传API旨在改善较大对象的上传体验。您可以上传部分对象。这些对象部分可以独立，任意顺序和并行上载。您可以对5 MB到5 TB的对象使用分段上传。有关更多信息，请参阅使用Multipart Upload API上载对象。 我们建议您通过以下方式使用分段上传：

如果您要通过稳定的高带宽网络上传大型对象，请使用多部分上传，通过并行上传对象部分来最大限度地利用可用带宽，以实现多线程性能。 如果您通过不稳定的网络上传，请使用多部分上传，以避免上传重新启动，从而提高网络错误的恢复能力。使用分段上传时，您需要重新上传仅在上传期间中断的部分。您不需要从头开始重新上传对象。 有关多部分上传的详细信息，请参阅分段上传概述。