解压缩bz2文件

Question

我有以下命令打开tbz文件：

# pricing20150304.tbz
tar xpj -C {tarball} {files_to_unarchive}

压缩文件大约是15 GB，当它被扩展时大约是500GB左右。在ec2-4x大型操作上进行此操作大约需要1小时40分钟。

有没有办法优化此操作？进行上述操作的最快方法是什么？

Answer 1

有几种可能性浮现在脑海中。首先，bzip2非常慢，所以如果你可以使用不同的算法，你可能会考虑这样做。假设你仍然需要相当高的比例，LZHAM和Brotli可能是不错的选择;它们需要更长的时间进行压缩，但在解压缩方面却更快 ，而且IIRC都带有多线程解压缩程序。有很多选择，它们在压缩速度，减压速度和比率之间都有different trade-offs。

如果不能选择其他算法，您可能需要考虑使用pbzip2而不是bzip2。类似于pbzip2 -dc infile.tar.bz2 | tar x。