在Pig中加载文件并使用分隔符将其转换为一行

时间:2015-12-01 14:32:27

标签: hadoop apache-pig

我需要你的帮助请输出我在Pig中加载的文件,其中包含如下数据:

AAAA,message1
BBBB,message2
CCCC,message3
DDDD,message4

我需要做的是获得这样的输出

AAAA,message1,BBBB,message2,CCCC,message3,DDDD,message4

此输出我将在其他猪udf之后使用它。

谢谢你的帮助

1 个答案:

答案 0 :(得分:1)

输入:

AAAA,message1
BBBB,message2
CCCC,message3
DDDD,message4

猪脚本:

A = LOAD 'input.csv'  USING  PigStorage(',') AS (key:chararray,value:chararray);
B = GROUP A ALL;
C = FOREACH B {
    D = ORDER A BY key;
    GENERATE BagToString(D,',');
    }; 
DUMP C;

输出

(AAAA,message1,BBBB,message2,CCCC,message3,DDDD,message4)