由于bz2可拆分并节省空间,我打算以bzip2格式存储表数据。 然而,它似乎无法识别压缩格式。用gzip格式很好。 我使用的代码如下所示:
CREATE TABLE IF NOT EXISTS image_bzip (
image_id STRING,
image_feature STRING,
other_stuff STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/hivestore/bzip';
LOAD DATA LOCAL INPATH '/nfs/directory/*.bz2' OVERWRITE INTO TABLE image_bzip;
有人可以指出我缺少的东西吗?
感谢。
答案 0 :(得分:1)
如果我们正确设置压缩编解码器,它会自然地工作。
答案 1 :(得分:1)
为什么不尝试在HDFS上使用bz2压缩文件创建外部表?