HADOOP PIG输出 - 如何跳过JSON阶段

时间:2015-03-19 14:09:34

标签: hadoop apache-pig

有了我的PIG结果,我有一些时间包,在我的结果结构中有一些时间元组。有时袋子是空的,有时候元组是空的。

当我在一个空包上做'Flatten'时,我得到了一个非常奇怪的错误:就像显示该字段的名称一样,删除与之关联的值。

我只是希望PIG输出一个简单的csv,但是当我执行PigStorage时,它会输出所有花括号和由数据结构产生的元组括号。我不知道如何摆脱这种局面。任何线索?我尝试了“转储”方法,但它已从当前的猪版本中删除(我在0.14)。

所以,截至今天,我做PigJson转储。我有一个python脚本,可以回读Pig创建的jsons并重新创建一个很好的数据表格表示。我猜这不应该是它应该完成的方式。当我们不提前知道它们时,我们怎样才能使猪的数据结构变得平坦?

你如何在日常的程序员生活中做到这一点??

0 个答案:

没有答案