猪默认JsonLoader架构问题

时间:2014-01-12 15:36:41

标签: hadoop apache-pig

我有以下需要使用Pig

解析的数据

数据

{
    "Name": "BBQ Chicken",
    "Sizes": [
        { "Size": "Large", "Price": 14.99 },
        { "Size": "Medium", "Price": 12.99 }
    ],
    "Toppings": [ "Barbecue Sauce", "Chicken", "Cheese" ]
}

我可以为NameSizes定义架构,但我无法让Toppings正常工作。在这里寻求帮助。

脚本

data = LOAD '/user/hue/data/nested_json_pizza_sample_data.json'
       USING JsonLoader('Name:chararray,
                         Sizes:bag{tuple(Size:chararray, Price:float)},
                         Toppings:tuple(a:chararray)');
DUMP data;

输出

如下所示,Topping的数据未被解析。

(BBQ Chicken,{(Large,14.99),(Medium,12.99)},)
(Hawaiian,{(Large,12.99),(Medium,10.99)},)
(Vegetable,{(Large,12.99),(Medium,10.99)},)
(Pepperoni,{(Large,12.99),(Medium,10.99),(Small,7.49)},)
(Cheese,{(Large,10.99),(Medium,9.99),(Small,5.49)},)
data: {Name: chararray,Sizes: {(Size: chararray,Price: float)},Toppings: (a: chararray)}

1 个答案:

答案 0 :(得分:2)

这里有两个选项:如果数组中的项目数量未知。

Toppings:{t:(i:chararray)}

或者如果元素的数量总是相同的。

Toppings: (i: chararray, j: chararray, k: chararray)

会给你输出:

(BBQ Chicken,{(Large,14.99),(Medium,12.99)},)