rsync:rsync在开始同步过程黑白源和目标之前花费多少时间来建立文件列表

时间:2019-01-23 18:41:49

标签: backup ubuntu-16.04 rsync

我使用rsync已有1年以上的时间,用于将生产数据同步到nfs卷上的文件夹,一旦同步完成,我们的NDMP备份/磁带备份时间表将开始。

情况:   昨天我们注意到,在完成rsync命令磁带备份过程完成之前,rsync仍在进行过程,以将文件从生产文件夹同步到目标文件夹。因此,磁带备份数据不一致。

问题1)如何查找rsync生成需要同步的文件列表所需的时间,该文件需要黑白的源和目标文件夹?

我使用下面的命令打印时间戳,以标识rsync在复制文件进程开始之前花了多少时间来生成文件列表。

rsync -avz --out-format =“%t%f”-删除/ opt / app_home / shared / data / opt / app_home / shared / plugins / opt / app_home / shared / tape-backup-rsync- shared_new /

但是,在寻求有关如何确定rsync进程的每个阶段所花费的时间的指导,以便我可以每周计划的cron作业执行时间。

1 个答案:

答案 0 :(得分:0)

依赖定时可能不是一个好主意,因为它会根据需要移动多少数据以及机器和/或网络的拥挤程度而变化。我建议您要么使您的日程安排变得非常宽松,要么实施某种锁定机制。

为您的rsync尝试一下:

flock /path/to/some/nfs/filename.lock rsync <args>

这是您的磁带备份:

flock /path/to/some/nfs/filename.lock <mycmd> <args>

flock命令(f锁)可确保只有一个进程可以立即拥有该锁文件,并且它将坐下来等到拥有该锁文件后,再启动您给出的命令。只要以正确的顺序启动同步和备份,备份就会一直等到同步完成。

主要问题是您曾经断电,网络中断或其他一些中断,导致遗留了过时的锁定文件,然后您必须手动删除它,然后再执行任何一项作业(如果不执行此操作)不会很快注意到,那么可能会有很多人排队。)