如何读取CSV并生成带有第一列值的猪的json / avro文件？

Question

我是猪的新手并且有以下＆＃34; test.csv＆＃34;：

A,Mark,45
A,Joe,42
A,Kyle,43
B,Mike,40

我知道我可以遍历这个并使用FOREACH生成每行记录，但是 我不知道的是我如何使用pig迭代并生成如下所示的两条记录：

{"class":"A",people:[["Mark",45],["Joe",42],["Kyle",43]]}
{"class":"B",people:[["Mike",40]]}

请注意，每条记录基本上都是＆＃34;分组＆＃34;通过第一列的唯一值。 如果可能的话，这是另一种可行的替代方案：

{"class":"A",people:[{"name":"Mark","age":45},{"name":"Joe","age":42},{"name":"Kyle","age":43}]}
{"class":"B",people:[{"name":"Mike","age":40}]}

Answer 1

A = load＆＃39; test.csv＆＃39;使用PigStorage（＆＃39;，＆＃39;）作为（col1，col2，col3）;

B = col1的A组;

C = foreach B生成组，A.col2，A.col3;

将C存储到＆＃39;位置＆＃39;使用PigStorage（＆＃39;，＆＃39;）;

这将为您提供所需的o / p。如果你想要json格式o / p然后使用org.apache.pig.builtin.JsonStorage（）进行存储;