蜂巢木地板压缩不起作用

Question

Hive版本2.3

SET hive.exec.compress.output=true;

CREATED TABLE (
*)  STORED AS PARQUET
LOCATION 's3 location'
TBLPROPERTIES ('parquet.compress'='SNAPPY');

我上面做了但s3位置的表输出没有压缩，我能用cat看到结果，我也试过'TBLPROPERTIES（'PARQUET.COMPRESS'='ZLIB'）;'这也没用。有谁知道使用蜂巢压缩实木复合地板的最佳方法是什么？谢谢。

Answer 1

SET hive.exec.compress.output=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.type=BLOCK;


CREATED TABLE (*)  STORED AS PARQUET LOCATION 's3 location';

您还可以设置其他压缩格式。压缩列表

1. gzip - org.apache.hadoop.io.compress.GzipCodec
2. bzip2 - org.apache.hadoop.io.compress.BZip2Codec
3. LZO - com.hadoop.compression.lzo.LzopCodec
4. Snappy - org.apache.hadoop.io.compress.SnappyCodec
5. Deflate -org.apache.hadoop.io.compress.DeflateCodec

从上面的列表中，Snappy不是默认值，DeflateCodec是默认值。 您可以通过运行

来确认

hive> SET mapred.output.compression.codec;