在“ foreach”子句中使用时,Pig空数据帧正在生成数据

时间:2018-11-09 05:32:10

标签: bigdata apache-pig apache-pig-grunt

如果我使用的是错误的标准猪名,请原谅我。

我在Pig(X和Y)中有2个数据帧。两者都具有变量:j1和j2。 我正在执行以下操作:

Comparator

在这里,如果执行DUMP B,则其中没有数据。 如果执行DUMP C,则出现数据d1。 但是当我执行DUMP D时,会出现相同的数据d1,因为B没有任何数据点,所以将其连接。

有人能说出为什么发生吗?

注意:我已经尝试过:

  1. 存储B,然后手动查看零件文件,但B中没有任何内容。

  2. 我还存储了A,然后退出会话,然后在grunt和Loaded A中启动了会话,然后执行了最后两行代码(即split和foreach)。当我这样做时,代码将按预期工作,并且DUMP D未显示任何输出数据(正确)。

找到解决方案:  实际上,这不是猪的问题。这是我用来读取数据并因此创建数据帧X和Y的Jar问题。基本上,Jar无法正确读取csv文件,这在上面的join操作中造成了问题。

0 个答案:

没有答案