我有两个连接到同一实例的卷,并且使用linux mv将100GB的一个卷转移到另一个卷需要5个小时。
据推测,c5.large实例使用增强的网络体系结构,并且网络速度为.74 Gigabits / s = .0925 Gigabytes /秒。所以我期望每小时0.74 / 8 * 60 * 60 = 333GB。我慢了15倍。
我哪里出错了?有更好的解决方案吗?
答案 0 :(得分:0)
我使用c.large实例,在实践中速度达到 .74 Gigabits / s,例如从S3存储桶下载的数据约为0.45MBits / s,比标称值(对于c4.xlarge节点)小了一个数量级
我建议您将数据分成1GB的数据包,然后使用以下脚本将其下载到您选择的附加存储选项中。
for i in {part001..part100}
do
echo " $i Download"
fnam=$i.csv.bz2
wget -O /tmp/data/$fnam http://address/to/the/data/$fnam
echo "$(date) $i Unzip"
bunzip2 /tmp/data/$fnam
done