Parralel复制

时间:2016-01-12 07:47:31

标签: rsync

我需要一个程序,它可以将parralel复制到许多服务器上。我的数据大约是70千兆字节,我需要将其复制到许多其他服务器上。如果我对一台服务器执行rsync,则时间大约为90分钟,rsync到2台服务器长约120分钟,rsync到3台服务器可能需要200分钟。但每个rsync进程都读取目录,因此当有许多rsyncs时读取速度很慢。 Linux上是否有可以进行parralel复制的程序 - 它应该一次读取目录中的文件并同时将这些文件复制到多个服务器上。或者可能是有人在python上做过这样的事情,例如?或者像tee命令那样的东西?

1 个答案:

答案 0 :(得分:3)

当您进行多次传输时需要更长时间的原因是网络是瓶颈,因此将数据传输到多台计算机会导致发件人网络接口出现争用。

使用multicast传输协议可以解决您的问题。组播允许用单个传输将数据发送到多个接收器,这消除了发送器网络接口上的争用。

选项包括uftpmrsyncudpcast