使用JsonStorage和Apache Pig一起保存为bz2格式

时间:2014-02-26 08:46:50

标签: apache-pig bzip2

有没有办法在JsonStorage中使用bz2存储数据?

我试过

STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage();

但这不成功。

我可以使用PigStorage执行此操作,但它使用字符分隔符而不是json来分隔字段。

2 个答案:

答案 0 :(得分:3)

1)在脚本开头打开压缩:

SET mapred.output.compress 'true';
SET mapred.output.compression.codec 'org.apache.hadoop.io.compress.BZip2Codec';

2)存储数据。

STORE DATA INTO 'path_to_file’ USING JsonStorage();

目录中的结果文件应该是bz2压缩的。

答案 1 :(得分:-1)

JsonStorage不支持压缩,但您可以编写自己的实现:http://pig.apache.org/docs/r0.12.0/func.html#load-store-functions