高效的方法来创建数百万个文件的图像进行传输

Question

我在子文件夹中有一个包含大约4500万个小型zip文件的文件夹，总计大约1.5TB

我需要将此文件夹传输到另一台Windows计算机。

有没有人对创建单个存档或图像文件以便在目标计算机上恢复的最快方法有任何好的想法？

Answer 1

您是否真的认为单个1.5TB文件比单个文件更容易复制？特别是考虑到你，然后必须再次拆分它们。此外，它需要两倍的磁盘空间两端来保存存档和小文件。

我建议使用具有备份和恢复支持的工具（如robocopy）将单个文件复制到目标计算机。

http://technet.microsoft.com/en-us/library/cc733145.aspx

Answer 2

tar -cf filename.tar path/to/small/files/*打包，tar -xf filename.tar打开包装。

tar可以通过MinGW或UnxUtils或GnuWin32获得。 Peazip和7z也可以创建tar文件，但与“真正的”工具相比，它们在性能方面非常可怜。在我的计算机上，真正的tar实用程序在大量小文件上的运行速度提高了5-6倍（不知道为什么，它只是将数据从一个文件复制到另一个文件！）。

由于您的文件已经是ZIP文件，因此压缩不太可能进一步减小尺寸。另一方面，压缩通常在每秒兆字节的低范围内，而磁盘读取则为数百。因此，压缩会相当增加您创建该存档所花费的时间，而简单地使用tar可能是最好的。

腐败不应该成为一个问题，因为典型的传输（例如，FTP）是可靠的，并且底层协议和网络层非常擅长校验和检测位错误。
不过，您可能会考虑创建几个较小的tar文件，因为如果您只传输了一个巨大的文件而另一端的FTP服务器崩溃（或者您的互联网连接出现了打嗝），那么您已经转移了1.49个你的1.5 TB，这将是非常烦人的。使用较小的文件，您不需要重发那么多。

Answer 3

使用（unix）工具rsync - 它有几个Windows版本。它具有仅传输增量的巨大优势，但在一个TCP连接中，所以它总是为您提供全速，并且只要有中断就重新启动它。