如何在创建配置单元时强制标头.gz输出

时间:2017-04-02 18:29:57

标签: hadoop hive gzip gz

如何确保使用标头创建每个.gz文件?我设置这些属性,给我多个输出文件名为00000_0.gz,00001_0.gz,00002_0.gz等。但这些没有标题。我需要什么语法来强制每个文件的标头?

BTW,我的查询格式为

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/target_dir/' ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' SELECT ...

现在设置属性:

set mapred.output.compress=true; 
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;    
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;

0 个答案:

没有答案