从EC2下载大量文件

时间:2014-07-20 15:09:43

标签: amazon-web-services

我在1TB的EC2 EBS驱动器上有很多(1000万个)文件(大约20K个文件夹,每个文件夹大约有500个文件)。

我想把它下载到我的电脑上,我怎么能最有效地做到这一点。

目前我正在使用rsync,但它正在服用AGES(大约3MB / s,当我的ISP为10MB / s时)。

也许我应该使用一些工具将它发送到S3然后从那里下载? 在保留目录结构的同时,我该怎么做?

2 个答案:

答案 0 :(得分:5)

最有效的方法是将光盘/驱动器发送到那里并返回。即使在今天,对于大尺寸(> = 1 TB),蜗牛邮件是最快的&最有效的来回发送数据的方式

答案 1 :(得分:-1)

S3和并行HTTP下载可以提供帮助,但您也可以直接从EC2实例使用其他下载加速工具,例如Tsunami UDPAspera