将本地文件放入Amazon EBS卷的最快方法是什么？

Question

我一直在使用多部分上传来获取一个200 + GB的文件到S3。然后我必须通过Web界面将其下载到EBS卷中。有没有比这更有效的方法？

Answer 1

选项A

将文件复制到硬盘驱动器并使用AWS Import / Export服务将物理媒体发送到Amazon可能更快更容易：

  

http://aws.amazon.com/importexport/

然后，AWS会根据您的指定将内容复制到S3或EBS卷中，然后将磁盘发回给您。

选项B

这是我建议测试的另一种方法：

1. 将文件分成多个部分（例如，使用“拆分”）

2. 创建一个EBS卷并附加到正在运行的EC2实例（较大的带宽以获得高带宽）

3. rsync使用压缩（-z）和多个并行运行的rsync进程。 至关重要的是要有多个并行解决延迟问题，否则会减慢传输速度。

4. 将这些碎片粘贴回目标EBS卷上的单个文件中（例如，使用“cat”）

Answer 2

您可以将EBS卷附加到EC2实例并在该实例上运行FTP服务器。将FTP服务器指向附加的EBS卷，然后只需FTP文件 - 它将直接写入EBS卷。

您可能希望使用支持恢复中断传输的FTP服务器和客户端 - 例如FileZilla。

Answer 3

为什么不将EBS连接到EC2实例并且仅将rsync文件连接起来？如果文件传输在完成之前断开连接，rsync允许您执行从压缩到自动完成的所有操作。

rsync -a --progress myfile ec2-50-19-445-218.compute-1.amazonaws.com:~/