hive sql添加排序或分发然后结果文件大小比以前更大

时间:2016-04-20 12:50:40

标签: mapreduce hive hadoop-lzo

我的蜂巢表都是lzo压缩类型。我有两个像这样的hive-sql:

[1]

set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;
insert overwrite table a partition(dt='20160420')
select col1, col2 ... from b where dt='20160420';

因为[1] sql没有减少,它会创建许多小文件。

[2]

set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;
insert overwrite table a partition(dt='20160420')
select col1, col2 ... from b where dt='20160420'
  sort by col1;

唯一不同的是最后一行,sql [2]有"排序"。

数据计数和内容相同,但[2]的文件大小比[1]大,我们的hdfs文件大小几乎是以前的1倍。

你能帮我找到原因。

0 个答案:

没有答案