复制数百万个文件

Question

我需要通过公司的SAN将大约300万个文件从一个文件夹复制到另一个文件夹。这对我来说最好的方法是什么？

Answer 1

如果直接副本太慢（尽管具有回写式高速缓存的SAN的速度与此类操作的速度一样快），您可以将文件压缩到一个或多个存档中，然后在以下位置展开存档。目的地。这会略微减少磁盘抖动。

在更聪明的层面上，您可以使用tar或cpio来处理文件，然后将它们写入stdout，然后将其传输到另一个tar / cpio进程以在目标处解析它们。

使用tar执行此操作的示例命令如下所示：

tar cf - * | (cd [destination dir] ; tar xf - )

某些SAN还会直接克隆磁盘卷。

Answer 2

如果您在Windows上，请使用robocopy。它非常强大，适合这种情况。它支持死链接检测，如果被中断，可以告诉它重试副本。

Answer 3

您是否考虑过使用rsync？这是一个使用algorithm that involves calculating hashes on chunks of the files比较两个网站并在网站之间发送增量的工具。

Answer 4

根据我的经验，Microsoft SyncToy非常擅长处理荒谬的文件数量。而且它非常易于使用。

Answer 5

我认为Teracopy会这样做。

http://www.codesector.com/teracopy.php

或者，如果在* nix上，请尝试使用cuteftp。

Answer 6

如果您问我，这是使用最新系统软件进行复制的最佳方式。

就像：

cp -pvr /pathtoolddir /pathtonewdir

在Linux机器上的

会做得很好。两者之间的任何压缩只会减慢过程。