Question

Hadoop支持多种压缩编解码器（例如Gzip，LZ4，Snappy等）。在什么Hadoop配置文件中，您指定哪一个确切地用于作业？

Answer 1

可以在core-site.xml文件中指定。例如：

<property>
  <name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

并在mapred-site.xml中指定：

<property>
  <name>mapred.compress.map.output</name>
  <value>true</value>
</property>
<property>
   <name>mapred.map.output.compression.codec</name>
   <value>org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>mapred.output.compression.type</name>
<value>BLOCK</value>
</property>

如何指定在Hadoop中使用哪种压缩

1 个答案: