将一个字段插回到包中的相同位置

时间:2014-04-09 09:09:22

标签: apache-pig

我有inputfile.csv 我的目标是从Data bag拆分一个字段,经过一些其他处理后我需要将它们连接到同一个位置。 到目前为止我做的是。

Data = load '$input' using PigStorage('$delimiter');
rankedoriginaldata = rank Data;
numericdata = foreach rankedoriginaldata generate $0,$split; 

运行命令

pig -x local -f seperator.pig -param input=data/StringNum.csv -param output=OUT/Numericfile -param delimiter="," -param split='$2'

dump rankedoriginaldata

dump numericdata

上面的脚本从数据包中分割$ 2并添加到numericdata包以及行id。为了保留joining的id。

1.从数据包我需要排除$ split(例如:$ 2)并复制到另一个包。

Expected data or Duplicate data.(excluding $2)

2.我需要将数字数据连接回其excat位置并将inputdata作为结果返回。

如何做到这一点。

请建议更好的方法。

0 个答案:

没有答案