如何使用XMLLoader将FileName合并到Pig Latin Script中?

时间:2012-12-17 07:30:41

标签: hadoop apache-pig hadoop-streaming

我正在使用XMLLoader在我的猪拉丁语脚本中加载XML。然后用我的UDF解析它。 问题是我想在我的UDF中加入输入文件名。

这样的东西

fileName =(String)input.get(1);

这是我的Pig Latin代码供参考

REGISTER contrib/piggybank/java/piggybank.jar;
REGISTER TallyUDF.jar;
log = LOAD '/home/HadoopNaman1/pig/trunk/CompFetXML.xml' using  org.apache.pig.piggybank.storage..XMLLoader('ENVELOPE') as xml_record;
N = FOREACH log GENERATE FLATTEN(TallyUDF.ParseCompFet(xml_record)) as (key:CHARARRAY,value1:CHARARRAY,value2:CHARARRAY);
M = FILTER N by key is not null;
DUMP M;

我想我必须编辑XMLLoader.java代码。但是,我无法想到如何做到这一点。

0 个答案:

没有答案