问题:
转储过滤后的输出会抛出错误并输出错误的输出并显示警告:
错误尝试访问输入中的不存在字段
步骤:
将制表符分隔的文件加载到关系a
:
a = LOAD '/user/a6000518-a/AdobeHourlySampleHit/hit_data.tsv' USING PigStorage('\t');
此文件包含952列。
我想列出第374列中的值。我进行了null
检查并生成了第374列值。
b = FILTER a BY $373 is not null;
c = FOREACH b GENERATE $373;
DUMP c
转储结果会产生预期的输出,但也会打印此警告消息:
2015-08-20 16:50:53,179 [main] WARN org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigHadoopLogger - org.apache.pig.backend.hadoop.executionengine.physicalLayer.expressionOperators.POProject (ACCESSING_NON_EXISTENT_FIELD):尝试访问输入中未找到的字段
你能告诉我哪里可能犯了错误吗?
谢谢!