Rsync性能 - 同步单个大文件与同步多个小文件

时间:2012-08-29 19:04:57

标签: unix rsync bigdata file-copying

我使用rsync来同步许多小文件(每个4.5 MB)。我正在使用18000的bwlimit。我将执行批量rsync命令,

rsync -v dest_host:file1 dest_host:file2 dest_host:file3 dest_host:file4 dest_host:file5 ... src_dir。

但我观察到的是,在上述带宽下,我无法每分钟同步超过4个文件。这些是预期的吗?我想知道如果我同步了一个18 MB的大文件,我可以更快地同步吗?

对于我的上述用例,是否有任何实用程序?

1 个答案:

答案 0 :(得分:0)

我设法回答了我自己的问题。

同步多个小文件会产生文件创建,打开,关闭源和目标的开销。

当我们传输100个大小为5 MB的文件和一个大小为500 MB MB的文件时,这将非常重要。

因此,判决,同步单个大文件是有益的。