将大文件上传到S3而不通过服务器

时间:2016-11-09 11:39:51

标签: amazon-web-services file-upload go amazon-s3

我正在开发一个Web应用程序,允许用户将大文件上传到服务器,我正在使用S3来存储这些文件。为了能够上传任何大小的文件,我使用s3manager.Uploader来简化分段上传。

因为有些文件会很大(~15gb),我想知道是否可以做一些像预先签名的URL,但对于分段上传?我想避免将数据上传到我的服务器,然后将其上传到S3。理想情况下,我想要一个URL,我可以在html表单中指导POST,并避免使用我的Web服务器作为文件的代理。

2 个答案:

答案 0 :(得分:1)

@ michael-sqlbot是对的。只是做帖子,每个文件的限制为5GB。如果您在上传前预先分配每个请求,则可以进行分段上传,这意味着您需要管理文件的拆分并要求服务器在上传之前对每个请求进行签名。

我最终关注@ fl0cke建议并使用https://github.com/TTLabs/EvaporateJS来管理上传。它完成所有文件管理,您只需实现服务器端功能即可为每个文件签署请求。

答案 1 :(得分:0)

每个存储对象的限制为5TB,在这里您可以找到参考文献link