标签: java hadoop mapreduce lzo
我有一些日志文件压缩在lzo设置7和gzip默认压缩,我的结果如下:
MapReduce结束:
MapReduce作业只使用Hadoop-LZO库的LzoTextInputFormat类而不是通常的TextInputFormat类。这是唯一的区别。
我看到37个地图任务通过并拆分作业并使用.index文件,但性能还有很多不足之处。有什么想法吗?