将一些带有值数组的键加载到pig中

Question

我有以下键值形式的一些数据，我需要加载到Pig。

php bin/console assets:dump

此数据将在一行中获取。我最终需要能够将键作为源和值数组作为Pig中的可能目的地进行访问。

我尝试了几种使用JasonLoader，elephantbird JSON加载器加载这些数据的方法，但它一直在返回空白而不是数据。

请帮忙。

Answer 1

JsonLoader期望与您拥有的预定义架构不同。你的数据集有多大？如果它不是那么大，你最好写一个简单的python / Java UDF，它接受整个json字符串，转换成你想要的一包元组。在您的猪脚本中，只需调用此UDF并在其返回的包上调用FLATTEN。