阿帕奇猪拉丁的一个集团的对面?

时间:2012-01-12 17:05:56

标签: hadoop mapreduce apache-pig

假设我在apache pig中输入以下内容:

(123, ( (1, 2), (3, 4) ) )
(666, ( (8, 9), (10, 11), (3, 4) ) )

我希望将这两行转换为以下7行:

(123, (1, 2) )
(123, (3, 4) )
(666, (8, 9) )
(666, (10, 11) )
(666, (3, 4) )

即。这有点'做与集团相反'。猪拉丁有可能吗?

1 个答案:

答案 0 :(得分:2)

看看FLATTEN。它做你可能需要的。

但是,使用上面的符号,看起来元组列表是一个元组。这应该是一个可以正常工作的包。

而不是:

(123, ( (1, 2), (3, 4) ) )
(666, ( (8, 9), (10, 11), (3, 4) ) )

您应该将您的数据表示为:

(123, { (1, 2), (3, 4) } )
(666, { (8, 9), (10, 11), (3, 4) } )

然后,一旦这是这个表格,你可以这样做:

O = FOREACH grouped GENERATE $0, FLATTEN($1);