当我运行Sort MR作业时，压缩不起作用

Question

我配置hadoop-2.4.0集群来压缩地图输出，我的mapred-site.xml设置如下

<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.map.output.compress.codec</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

当我运行InvertedIndex时，压缩工作正常，我可以在“Reduce shuffle bytes”中看到不同的计数器。

但是，当我运行Sort时，压缩和不压缩之间的“Reduce shuffle bytes”没有区别。这意味着压缩不起作用。

太奇怪了。我卡住了你知道我做错了吗？

Answer 1

我认为如果其中一个程序在Driver类（主方法）中明确设置了属性：conf.setCompressMapOutput(false);，则此设置将覆盖mapred-site.xml设置。