如何让Hive与bz2一起工作?

时间:2011-10-24 17:29:37

标签: compression hadoop hive

由于bz2可拆分并节省空间,我打算以bzip2格式存储表数据。 然而,它似乎无法识别压缩格式。用gzip格式很好。 我使用的代码如下所示:

CREATE TABLE IF NOT EXISTS image_bzip (
    image_id STRING,
    image_feature STRING, 
    other_stuff STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/hivestore/bzip';

LOAD DATA LOCAL INPATH '/nfs/directory/*.bz2' OVERWRITE INTO TABLE image_bzip;

有人可以指出我缺少的东西吗?

感谢。

2 个答案:

答案 0 :(得分:1)

如果我们正确设置压缩编解码器,它会自然地工作。

答案 1 :(得分:1)

为什么不尝试在HDFS上使用bz2压缩文件创建外部表?