如何将人类可读的JSON文件加载到Pig中?

时间:2016-11-04 19:16:45

标签: apache-pig

我有一个大型架构的大格式json文件。但是每个json对象都没有结束。它跨越多行,下一个json对象刚开始,然后如何使用Pig JsonLoader()读取它。我在阅读文件下面时遇到错误 -

{"配方":"炸玉米饼""成分":[{"名称":"牛肉" },{"名称":"莴苣" },{"名称":"奶酪"}],"发明人" {"名称":"阿莱克斯" "年龄" 25}} {"配方":"西红柿汤""成分":[{"名称&#34 ;:"蕃茄"},{"名称":"牛奶"}],"发明人" {"名称&#34 ;:"史蒂夫""年龄":23}}

仅供参考,我知道如果我们按照eol风格格式化它将会有效。

1 个答案:

答案 0 :(得分:0)

我用来加载奇怪的json文件的解决方案是使用Twitter的elephantbird

https://github.com/twitter/elephant-bird