更快创建tarball的最佳设置

时间:2018-08-20 10:08:08

标签: amazon-web-services tar

我的目标是在 dummy 目录中创建一个包含我所有文件和目录的 dummy.tar 文件,该文件最多可存储几TB的信息。而且,我希望这个过程尽可能快。

为此,我在AWS中创建了以下设置:

  • c5.xlarge(4核和8GB内存)
  • 一个包含提到的 dummy dir
  • 的硬盘
  • dummy.tar
  • 的一个硬盘

然后我运行:

tar -cf /path/to/mount2/dummy.tar /path/to/mount1/dummy

但是不幸的是,这会减慢速度,磁盘读取和写入速度大约为5M / s,这要知道这些磁盘的功能更多(至少十倍)。我还注意到该过程消耗的CPU很少,并且对 source.tar 使用ssd并没有帮助。

因此,我想知道这是否可以进行得更快,如果可以,我应该在当前设置中进行哪些更改。

感谢您的关注。

编辑:

注意:我也可以接受 tar 的替代方法,因为我的最终目标是创建一个包含多个文件/目录的文件,而无需考虑压缩情况。

与此同时,我也尝试过:

  • 其他类型的AWS实例,例如t2.medium和i3.large
  • 仅对源磁盘和目标磁盘使用一个磁盘执行操作,但这仍然无济于事

0 个答案:

没有答案