标签: performance ftp protocols
我使用Putty SFTP 0.63每晚连接服务器,使用mget下载37,000个小文件(每个小于1 kb)。
下载37,000个小文件需要4个小时,我确信这是因为执行1次传输37,000次的协议开销。我们测试过将文件压缩成一个“大”文件(大约30MB),当然它会在几秒钟内传输。问题是我无法控制生成我需要获取的文件的IT系统,我已经确信它们永远不会压缩/ tar /服务器端的任何文件,至少在我的一生。
有没有人知道我可以提出哪些技巧来降低每个文件的开销并且可能加快速度?
谢谢!