在PIG中的多个记录中拆分记录

时间:2017-02-28 23:38:25

标签: elasticsearch apache-pig

我想为最后三个字段创建多个输入。从单个记录开始,我想为每条记录创建一个单独的税收实例?我应该在Pig中使用什么方法?

输入架构

id     key   adr          name      tax     tax1     tax2

123456|1234|123 main st| jane doe| 123xxx | 124xxx | 125xxx

Pig可以从上面的输入中获得以下输出吗?

123456|1234|123 main st| jane doe| 123xxx 

123456|1234|123 main st| jane doe| 124xxx 

123456|1234|123 main st| jane doe| 125xxx 

1 个答案:

答案 0 :(得分:0)

使用ToBag()

A = LOAD 'data.txt' USING PigStorage(',');
B = FOREACH A GENERATE $0,$1,$2,$3,FLATTEN(ToBag($4,$5,$6));
DUMP B;