Hadoop：压缩Map-only作业的输出

Question

我有一个只在MapOutputFormat中输出的地图作业。

我目前看到三种压缩输出的方法：

1. 通过mapred.compress.map.output定义要压缩的地图。*

2. 通过mapred.output.compression定义要压缩的输出。*

3. 定义要通过TextOutputFormat.setCompressOutput（）压缩的TextOutputFormat

4. 通过撰写前三种可能性中的一种或多种。

有关如何正确执行此操作的任何见解？

Answer 1

选项1仅适用于中间输出，选项2也适用，但更多的是mapred-site.xml方法，选项3是可行的方法。