索引的.lzo日志文件执行速度比.gz压缩文件慢

Question

我有一些日志文件压缩在lzo设置7和gzip默认压缩，我的结果如下：

MapReduce结束：

• 1GB .gz文件 - 340秒
• 1GB .lzo文件未编入索引 - 410秒
• 1GB .lzo文件索引 - 380秒

MapReduce作业只使用Hadoop-LZO库的LzoTextInputFormat类而不是通常的TextInputFormat类。这是唯一的区别。

我看到37个地图任务通过并拆分作业并使用.index文件，但性能还有很多不足之处。有什么想法吗？