AWS EC2 S3和每个s3cmd中包含几个文件的数千个目录

Question

我有数万个目录，每个目录在非AWS VPS上都有几个文件（大约1TB的数据）。我想将它们全部移到S3。

我可以将它们压缩成7GB的块，移动（wget或其他）到EC2（8GB Ubuntu），解压缩并将它们s3cmd转换为S3。

OR

使用s3cmd同步目录从我的VPS直接进入S3？

哪种方法最适合性能和可靠性？

由于

Answer 1

有两个因素会让我做出决定。

1. avg文件大小是多少？ （成千上万的小文件比几个大文件花费的时间更多）
2. 你能得到什么样的压缩？

如果您决定使用中间实例，则可以在传输时附加1 TB EBS卷来处理文件。它会增加一些成本，但一旦完成，你就不需要保留音量。