猪。 JsonLoader。加载没有架构的嵌套对象

时间:2014-04-21 11:07:18

标签: json hadoop apache-pig

我有jsons,我想把它加载到猪身上。每个json看起来像这样:

{"timeStamp":1397718396509,"requestUid":"534F7D320007","result":
{//many many different objects}

我无法为字段结果提供架构,因为它不是常量而且非常大。因此,我想将其加载为chararray,地图或其他东西 - doesen无所谓。但它应该被加载,因为稍后将需要它。我尝试过这样的事情:

LOAD 'log' USING JsonLoader('timestamp:long, req_id:chararray, result:chararray');

但我得到一个空结果字段。实现我想要的最简单方法是什么?

1 个答案:

答案 0 :(得分:0)

使用Elephant Bird附带的json加载程序(来自twitter)。它将加载嵌套的Json而无需提前指定模式。