索引的.lzo日志文件执行速度比.gz压缩文件慢

时间:2013-08-05 07:43:42

标签: java hadoop mapreduce lzo

我有一些日志文件压缩在lzo设置7和gzip默认压缩,我的结果如下:

MapReduce结束:

  • 1GB .gz文件 - 340秒
  • 1GB .lzo文件未编入索引 - 410秒
  • 1GB .lzo文件索引 - 380秒

MapReduce作业只使用Hadoop-LZO库的LzoTextInputFormat类而不是通常的TextInputFormat类。这是唯一的区别。

我看到37个地图任务通过并拆分作业并使用.index文件,但性能还有很多不足之处。有什么想法吗?

0 个答案:

没有答案