如何避免为Hive查询生成空的.deflate文件？

Question

当我运行Hive查询时，会生成大量空.deflate个文件（实际上它们大约是8个字节，我认为这是.deflate文件的最小大小）。我怀疑这种情况正在发生，因为查询需要大量的reducer。我想知道是否有办法避免生成这些空的.deflate文件？

提前致谢，

林

Answer 1

.deflate 是默认 compression codec

Hive 的压缩设置可用于减少 Hive 用于其的磁盘空间量queries

当属性 hive.exec.compress.output=true 时，Hive将使用 codec配置的 mapred.map.output.compression.codec 属性以压缩HDFS中的存储空间。可以在 hive.site.xml 或 Hive-CLI 中设置这些属性。

要从 Hive-CLI 启用输出压缩。：

<强> hive> set hive.exec.compress.output=true;

使用 hive.site.xml

启用输出压缩

<property>
 <name>hive.exec.compress.output</name>
 <value>true</value>
</property>

所以要停用 .deflate 文件：

设置 hive.exec.compress.output=false;