在两个AWS卷之间复制100GB数据的最佳方法是什么?

时间:2018-10-04 17:43:49

标签: amazon-web-services amazon-ec2

我有两个连接到同一实例的卷,并且使用linux mv将100GB的一个卷转移到另一个卷需要5个小时。

据推测,c5.large实例使用增强的网络体系结构,并且网络速度为.74 Gigabits / s = .0925 Gigabytes /秒。所以我期望每小时0.74 / 8 * 60 * 60 = 333GB。我慢了15倍。

我哪里出错了?有更好的解决方案吗?

1 个答案:

答案 0 :(得分:0)

我使用c.large实例,在实践中速度达到 .74 Gigabits / s,例如从S3存储桶下载的数据约为0.45MBits / s,比标称值(对于c4.xlarge节点)小了一个数量级

我建议您将数据分成1GB的数据包,然后使用以下脚本将其下载到您选择的附加存储选项中。

for i in {part001..part100}
  do
    echo " $i Download"
    fnam=$i.csv.bz2
    wget -O /tmp/data/$fnam http://address/to/the/data/$fnam
    echo "$(date) $i Unzip"
    bunzip2 /tmp/data/$fnam
  done