Amazon S3是否有文件大小限制

时间:2019-01-02 20:17:02

标签: amazon-web-services amazon-s3

成功运行后,bash脚本停止工作 此行产生错误:

  

移动失败:../../../../Users/thisuser/Desktop/somefile.zip到s3://cloudbackups/somefile.zip(“连接已中止。,错误(32,'已断开管道”)

aws s3 mv $source_file_path $target_path

源文件大于8GB。 Mac OS。

3 个答案:

答案 0 :(得分:1)

Amazon S3的文件大小限制为5TB,所以显然这不是您的问题。

Broken Pipe消息表明存在网络问题。复制8GB文件会使它更容易受到网络问题的影响。

我建议重试一次,尤其是如果每次都在不同位置发生故障时。如果可能,请使用更可靠的网络(例如公司网络与家庭网络)。

您还可以通过在命令后附加--debug来激活调试。这可能会提供更多信息来调查此问题。

答案 1 :(得分:1)

来自S3 FAQ

  

问:我可以在Amazon S3中存储多少数据?

     

数据总量和可以存储的对象数不受限制。单个Amazon S3对象的大小范围可以从最小0字节到最大5 TB。单个PUT中可以上传的最大对象为5 GB。对于大于100兆字节的对象,客户应考虑使用Multipart Upload功能。)

虽然最大文件大小为5TB,但单个PUT操作的最大大小为5GB -这意味着您将无法通过单个操作上传8GB的文件,而需要使用分段上传。请注意,AWS建议对大于100MB的任何文件进行分段上传。

分段上传具有巨大的可靠性优势-失败和重试的大小和范围受到限制。为了通过命令行界面执行此操作,您需要熟悉多个不同的命令documented here

有关分段上传的更多详细信息,请参见documentation

  
      
  • 提高的吞吐量-您可以并行上传零件以提高吞吐量。
  •   
  • 从任何网络问题中快速恢复-较小的零件尺寸将由于网络错误而重新启动失败的上传的影响降到最低。
  •   
  • 暂停和继续上传对象-您可以随着时间的推移上传对象部分。一旦开始分段上传,就不会过期。您必须明确完成或中止分段上传。
  •   
  • 在知道最终对象大小之前就开始上传-您可以在创建对象时上载对象。
  •   

答案 2 :(得分:0)

S3的对象大小限制为5TB,但单个PUT限制为5GB。

此外,要在S3上上传大文件,通常最好使用分段上传(https://docs.aws.amazon.com/AmazonS3/latest/dev/uploadobjusingmpu.html