Question

我正在学习Pig，我想将中间结果存储为LZO格式。

我已成功下载，编译并安装了lzo codecs。

当我尝试使用此命令运行PigLatin脚本时：

pig
-Djava.library.path=<path to the lzo library> 
-Dpig.tmpfilecompression=true 
-Dpig.tmpfilecompression.codec=lzo org.apache.pig.Main  myscript.pig

失败，报告此错误：

 ERROR org.apache.pig.tools.grunt.GruntParser - ERROR 2997: Encountered IOException. LZO codec class not specified. Did you forget to set property io.compression.codec.lzo.class?

我还尝试使用core-site.xml和mapred-site.xml，但我无法解决问题。

任何人都可以帮我修理吗？

Answer 1

-Djava.library.path = lzo库的路径

你真的把这条线放在了如图所示的位置吗？如果是，请给它lzo库的路径。如果您对其他压缩没有问题，只需使用.zip扩展名更改输出文件名，并运行相同的pig脚本，而不覆盖任何压缩属性，前提是您使用的是0.9或更高版本的猪。

无法配置Pig将中间文件存储为LZO格式

1 个答案: