不支持加载连接的bz2文件(YARN 2.2 + Pig 0.12)

时间:2013-11-07 20:33:28

标签: hadoop apache-pig yarn

我正在Pig 0.12和YARN 2.2上使用pig脚本处理连接的bz2文件,并收到以下错误消息:

ERROR: java.io.IOException: Encountered additional bytes in the filesplit past the crc block. Loading of concatenated bz2 files is not supported

我认为YARN 2.2应该对连接的bz2文件处理(https://issues.apache.org/jira/browse/HADOOP-6835)进行修复,但还没有?或者Pig是否自己处理bzip2文件而不是依赖底层的MapReduce框架,还是需要设置一些参数?

0 个答案:

没有答案