有没有办法在JsonStorage中使用bz2存储数据?
我试过
STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage();
但这不成功。
我可以使用PigStorage执行此操作,但它使用字符分隔符而不是json来分隔字段。
答案 0 :(得分:3)
1)在脚本开头打开压缩:
SET mapred.output.compress 'true';
SET mapred.output.compression.codec 'org.apache.hadoop.io.compress.BZip2Codec';
2)存储数据。
STORE DATA INTO 'path_to_file’ USING JsonStorage();
目录中的结果文件应该是bz2压缩的。
答案 1 :(得分:-1)
JsonStorage不支持压缩,但您可以编写自己的实现:http://pig.apache.org/docs/r0.12.0/func.html#load-store-functions