以编程方式从SFTP服务器下载千兆字节文件的有效方法

Question

我在SFTP服务器上有几个30GB的文件。我想以编程方式下载它们。目前，我正在使用sftp get命令来下载它们，但是下载每个文件的时间约为3.5小时。有没有办法快速下载这些文件？

Answer 1

很有可能，这里的限制因素是网络的速度。 sftp和SSH通常会使用尽可能多的带宽，除非您以某种方式对其进行了限制。

您获得的速度约为2.38 MB / s，这是通过家庭网络连接进行的合理下载速度，但在LAN上的传输速度会不合理。不过，您还没有说出正在使用哪个。

理论上，如果（a）您使用AES算法并且一侧不支持硬件中的AES或（b）您使用10 Gb网络，则加密可能太慢。但是，我非常怀疑这种情况，因为现代OpenSSH版本中的所有算法最多可以建立1 Gib连接。

如果您在LAN上，我将调查网络的速度和配置，如果一侧是设备或嵌入式设备，则将调查SFTP服务器或磁盘的速度。