我有inputfile.csv 我的目标是从Data bag拆分一个字段,经过一些其他处理后我需要将它们连接到同一个位置。 到目前为止我做的是。
Data = load '$input' using PigStorage('$delimiter');
rankedoriginaldata = rank Data;
numericdata = foreach rankedoriginaldata generate $0,$split;
运行命令
pig -x local -f seperator.pig -param input=data/StringNum.csv -param output=OUT/Numericfile -param delimiter="," -param split='$2'
上面的脚本从数据包中分割$ 2并添加到numericdata包以及行id。为了保留joining
的id。
1.从数据包我需要排除$ split(例如:$ 2)并复制到另一个包。
Expected data or Duplicate data.(excluding $2)
2.我需要将数字数据连接回其excat位置并将inputdata作为结果返回。
如何做到这一点。
请建议更好的方法。