SCP文件大小超过2GB

时间:2013-10-11 18:05:54

标签: perl shell ssh sftp scp

我需要SCP在两个大小超过2 GB的服务器之间的批量文件(* .txt)。我该如何处理这种情况。 scp文件需要更多时间。

我试过以下。

if size is less than 2GB then 
    go for zip that file (gzip FILENAME) 
    scp FILENAME user@server:/path/. 
else 
    scp FILENAME user@server:/path/. 
endif

是否有其他最佳解决方案可以处理这种情况 任何帮助将受到高度赞赏。

谢谢,
Shanmugam A.

2 个答案:

答案 0 :(得分:0)

您可以使用-C启用压缩,例如:

scp -C file remote:

更好的压缩是可能的,但可能不值得努力。

答案 1 :(得分:0)

您可以减少SCP使用的加密(http://www.hypexr.org/linux_scp_help.php) 这将使您在速度方面有所增加。

据我所知,SFTP传输确实消耗了我速度较慢的机器上的所有核心,但您也可以尝试一次启动两个或更多传输。 (测量,测量,测量。检查默认速度。降低加密。然后测试。同时检查瓶颈。是CPU吗?网络?(如果是后者,你无能为力。)

如果您需要加密那么多,可以使用openssl加密已完成的文件。

与其他人一样,请检查压缩。

相关问题