我正在Pig 0.12和YARN 2.2上使用pig脚本处理连接的bz2文件,并收到以下错误消息:
ERROR: java.io.IOException: Encountered additional bytes in the filesplit past the crc block. Loading of concatenated bz2 files is not supported
我认为YARN 2.2应该对连接的bz2文件处理(https://issues.apache.org/jira/browse/HADOOP-6835)进行修复,但还没有?或者Pig是否自己处理bzip2文件而不是依赖底层的MapReduce框架,还是需要设置一些参数?