通过网络存档,压缩和复制大量文件

时间:2013-12-13 09:16:54

标签: ssh compression gzip largenumber archiving

我正在尝试通过ssh复制超过500000(大约1 TB)的文件但管道失败,因为我已超出ssh进入远程计算机的时间限制,

所以我继续归档和压缩(使用tar和gzip)远程计算机上的所有文件,但即使我将进程留在后台,因为我超出了ssh'ing'进入远程计算机的时间该过程被取消。

最后,我继续逐个压缩文件然后进行tarring(基于存档会占用大量文件的大量时间)但是,我得到的错误是参数列表太长了。

由于所有这些文件都分布在20个这样的文件夹中,我不想输入每个文件并分成更多文件夹和存档&压缩它。

任何建议都会非常有用。

1 个答案:

答案 0 :(得分:1)

绝对tar和gz要么是整个事情要么是单独的20个目录(我会做后者来划分和征服至少一点。)这会减少总体转移时间并在另一端提供良好的错误检查。

通过ssh使用rsync进行传输。如果它在中间被冲洗,请使用rsync --append来从你离开的地方开始。