我在1TB的EC2 EBS驱动器上有很多(1000万个)文件(大约20K个文件夹,每个文件夹大约有500个文件)。
我想把它下载到我的电脑上,我怎么能最有效地做到这一点。
目前我正在使用rsync,但它正在服用AGES(大约3MB / s,当我的ISP为10MB / s时)。
也许我应该使用一些工具将它发送到S3然后从那里下载? 在保留目录结构的同时,我该怎么做?
答案 0 :(得分:5)
最有效的方法是将光盘/驱动器发送到那里并返回。即使在今天,对于大尺寸(> = 1 TB),蜗牛邮件是最快的&最有效的来回发送数据的方式
答案 1 :(得分:-1)
S3和并行HTTP下载可以提供帮助,但您也可以直接从EC2实例使用其他下载加速工具,例如Tsunami UDP或Aspera