如何确保使用标头创建每个.gz文件?我设置这些属性,给我多个输出文件名为00000_0.gz,00001_0.gz,00002_0.gz等。但这些没有标题。我需要什么语法来强制每个文件的标头?
BTW,我的查询格式为
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/target_dir/' ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' SELECT ...
现在设置属性:
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;