Hadoop - 使用XPath在XML节点上进行PIG循环

时间:2015-10-02 18:14:27

标签: xml hadoop xpath hive apache-pig

我有一个XML文件

<Superfoo>
<foo>
    <Number>1</Number>  
    <childfoo>20</childfoo>
</foo>
<foo>
    <Number>2</Number>  
    <childfoo>10</childfoo>
</foo>
<foo>
    <Number>3</Number>  
    <childfoo>29</childfoo>
</foo>
</Superfoo>

我的要求是在节点上循环。我不想对它们进行硬编码,因为它可能因XML而异。我们有什么方法可以使用 PIG XPath 来实现它。

A =  LOAD 'foo.xml' using org.apache.pig.piggybank.storage.XMLLoader('Superfoo') as (x:chararray);

B = FOREACH A GENERATE XPath(x, 'Superfoo/foo/Number'), XPath(x, 'Superfoo/foo/childfoo');
dump B;

我尝试使用上面的代码,但它只返回1行但是使用Foreach它应该返回节点的所有行。

我们可以通过Hive使用循环吗?对我来说似乎很难......

任何指针????

感谢。

1 个答案:

答案 0 :(得分:1)

修改您的代码,如下所示。

A =  LOAD 'foo.xml' using org.apache.pig.piggybank.storage.XMLLoader('foo') as (x:chararray);

B = FOREACH A GENERATE XPath(x, 'foo/Number'), XPath(x, 'foo/childfoo');

dump B;

Dump B 将生成如下输出:

(1,20)

(2,10)

(3,29)