我需要将总共约4 TB的一堆CSV文件传输到AWS。 我的ISP可以处理此传输的首选Internet连接是什么？ 链接不起作用。我的链接是70 Mbps专用的上载/下载。这够了还是我需要提高链接速度？
Thnx。
答案 0 :(得分：1)
4 TB = 4,194,304兆字节
70兆位/秒〜= 8.75兆字节/秒（近似值，因为会产生网络开销）
除法结果为479,349秒（5.55天）
提高链接速度肯定会改善这一点，但是您可能会发现使用压缩会获得更多的改善（CSV表示文本带有数字偏差，压缩效果非常好）。
您不会说要上传到什么，也不会说如何使用结果。如果您要上传到S3，建议您在上传之前使用GZip（或其他压缩格式）压缩文件，然后让使用者根据需要进行解压缩。如果您要上传到EFS，我将创建一个EC2实例来接收文件，并将rsync与-z选项一起使用（这将通过网络进行压缩，但未压缩目标文件） 。当然，您可能仍希望预先压缩文件，以节省长期存储成本。