并行压缩算法

时间:2017-01-29 17:15:35

标签: compression

许多/大多数压缩算法都有并行解压缩实现(如pigz的{​​{1}}等。)

然而,很少有人看到与任务处理器处理器数量成比例的时间减少,而大多数处理器从6个以上的处理器中完全没有受益。

我很想知道是否有任何内置于设计中的并行解压缩的压缩格式 - 理论上100 cpus比使用100 cpus快100倍。

谢谢你们,祝你们一切顺利:)

1 个答案:

答案 0 :(得分:2)

你可能受I / O约束。在某些时候,如果他们等待输入或输出,更多的处理器将无济于事。你只需要等待更多的处理器。

或许你的输入文件不够大。

如果没有I / O限制,那么对于足够大的输入,pigz实际上将以100 cpus快100倍。默认情况下,pigz向每个处理器发送128K块以进行处理,因此您需要输入至少为13 MB才能为所有100个处理器提供工作。理想情况下,要使所有处理器同时满负荷运行,还要比这更好。