mysqldump管道gzip速度差异

时间:2013-02-17 07:30:31

标签: gzip pipe mysqldump

我将mysqldump的结果传递给gzip,gzip的速度似乎远远落后于

gzip: 34.9MiB 0:01:54 [ 218kiB/s] 
mysqldump:  735MiB 0:01:54 [5.73MiB/s] 

2个问题:
1.如果gzip无法赶上,这会最终破坏管道吗?管道是否将所有这些数据保存在内存中?
2.我如何加速gzip(已经知道-9 vs -1压缩选项)?

2 个答案:

答案 0 :(得分:2)

GZIP受CPU限制。所以你可以像你说的那样降低压缩率,但你不会获得太多的速度。尝试在LZO周围寻找,速度要快得多(压缩率不是很好,但我认为这是一个很好的权衡)

您可以在此处找到一个好的基准:http://stephane.lesimple.fr/blog/2010-07-20/lzop-vs-compress-vs-gzip-vs-bzip2-vs-lzma-vs-lzma2xz-benchmark-reloaded.html

至于你的第一个问题,操作系统会为你做缓冲,你不必担心它。即使你的RAM不够大,缓冲也会写入磁盘,但GZIP仍然会变慢。

答案 1 :(得分:0)

至于加速gzip,你可以尝试pigz,它使用多个处理器/核心。