我将mysqldump的结果传递给gzip,gzip的速度似乎远远落后于
gzip: 34.9MiB 0:01:54 [ 218kiB/s] mysqldump: 735MiB 0:01:54 [5.73MiB/s]
2个问题:
1.如果gzip无法赶上,这会最终破坏管道吗?管道是否将所有这些数据保存在内存中?
2.我如何加速gzip(已经知道-9 vs -1压缩选项)?
答案 0 :(得分:2)
GZIP受CPU限制。所以你可以像你说的那样降低压缩率,但你不会获得太多的速度。尝试在LZO周围寻找,速度要快得多(压缩率不是很好,但我认为这是一个很好的权衡)
您可以在此处找到一个好的基准:http://stephane.lesimple.fr/blog/2010-07-20/lzop-vs-compress-vs-gzip-vs-bzip2-vs-lzma-vs-lzma2xz-benchmark-reloaded.html
至于你的第一个问题,操作系统会为你做缓冲,你不必担心它。即使你的RAM不够大,缓冲也会写入磁盘,但GZIP仍然会变慢。
答案 1 :(得分:0)
至于加速gzip,你可以尝试pigz,它使用多个处理器/核心。