提高Amazon EC2上的数据传输率

时间:2011-05-06 14:33:25

标签: amazon-ec2 amazon-web-services amazon-ebs

我在EC2实例上安装了1-Gig EBS卷, 我从本地硬盘驱动器复制600MB二进制数据(通过RDS连接) 复制过程窗口显示剩余10小时。 虽然我有一个高速连接(100 + Mbps)

无论数据量是多少,数据传输速率为1 Min / MB(即16Kbs / Sec)
我在工作站前阅读Moby Dick或只休假一天时犹豫不决。

是否有任何合理的选择来加快此转移率?
(理想情况下至少为512 Kbps /秒)

我对任何缩短上传/下载时间和EC2实例的解决方案都非常开放。

提前致谢。

编辑:
我偶然发现[亚马逊出口/进口服务] [1] “ AWS Import / Export加速在您发送给我们的AWS云和便携式存储设备之间传输大量数据”通过“邮寄给我们”,它们实际上意味着“物质上”将您的存储设备运送到亚马逊。
不要说这是Stoneage,这是全新的技术,伙计! : - )

EDIT2:
这听起来很棒:[Aspera for AWs] [2]但不幸的是太贵了;为世界500强企业量身定制,需求量大,现金充裕。

2 个答案:

答案 0 :(得分:15)

有时候,如果你想要完成某件事,最好自己动手:-)

我没有找到任何令人满意的网络,所以我花了一个晚上做了一个相当完整的替补测试。 我测试了一些替代/场景,结果如下:

EC2上安装的FTP服务器是Filezilla Server(正确的配置很敏感)
用于此Bench测试的FTP客户端是WinSPC(Filezilla客户端无效。请参阅this other post
图例:[HC]代表家庭连接(100MBps)

上传带宽
RDS上传: 15 Kb / S =>更糟糕
FTP上传[EC2上安装的FTP服务器]: 100 Kb / S
从AWS管理控制台从HC上传到S3: 60 Kb / S
使用EC2的AWS Console界面上传到S3: 145 Kb / S
使用来自HC的S3 Browser上传到S3: 120 Kb / S
使用EC2中的S3 Browser上传到S3: 2000 Kb / S

下载带宽
RDS下载和上传: 15 Kb / S =>更糟糕
FTP下载[EC2上安装的FTP服务器]: 360 Kb / S
从EC2下载S3 AWS Console界面: 350 Kb / S
使用S3 Browser从S3下载:从HC: 380到620 Kb / S
使用S3 Browser从S3下载:来自EC2: 3000 Kb / S

结论:

因此,截至目前,亚马逊S3与S3浏览器结合使用效果最佳。 (S3浏览器只是S3上的一层我不明白为什么上传率更好)

但是,应该记住,EC2实例上的FTP服务器具有将本地EC2目录直接映射到EC2的巨大优势。 与S3不同,只涉及一次转移。实际上,S3需要2次转移:将本地资源转换为S3 /以及从S3转换为EC2,反之亦然,而FTP Access通过缩短转移周期来实现即时性。此外,它节省了S3铲斗的成本。

有趣的是,EC2 Instance的带宽非常强大。因此,使用真正利用它的协议(如S3或FTP,而不是RDS)更为有趣 - 无可奈何。

我希望这对面临同样问题的其他人有用,并为他们节省宝贵的时间。

答案 1 :(得分:1)

使用Aspera或Tsunami UDP并将600 MB移动到您的Amazon EC2 infra(跳转框)。然后从跳转框内部复制到Windows ec2。我的基准测试表明,与传统模式相比,海啸UDP的速度要快得多。