如何将非常大的文件上传到S3?

时间:2015-11-13 09:51:22

标签: amazon-web-services amazon-s3

我有一个大约100GB的postgres备份,想把它加载到欧盟法兰克福的S3并在云数据库中恢复它。

我无法访问AWS Import / Export服务。在Ubuntu笔记本电脑上

我尝试过的策略

1) management console upload, at least 2 weeks needed
2) bucket explore multi-upload, task failed due to java memory error every time
3) SDK multi-upload(boto, boto3, java SDK), do not show the progress bar. can not estimate how long it needs
4) other windows explore, do not have Linux version

将此加载到S3的最快方法是什么?或python或java中的代码片段。非常感谢

2 个答案:

答案 0 :(得分:9)

最简单的解决方案是使用AWS CLI(https://aws.amazon.com/de/cli/)。

aws s3 cp /PATH_TO_BACKUP/BACKUP_FILE s3://BUCKETNAME

答案 1 :(得分:0)

您还可以使用mc工具:

mc cp backup.zip s3/bucketname