apache-Pig map-reduce group by error

时间:2016-03-29 00:41:24

标签: hadoop mapreduce apache-pig hortonworks-data-platform

我认为我现在遇到了一个真正的问题,需要一些专家建议。 我在grunt shell中的脚本下面运行,除了dump d之外,一切运行正常;我收到了以下错误。

  

2016-03-28 20:08:30,686 [main] ERROR org.apache.pig.tools.pigstats。   mapreduce.MRPigStatsUtil - 1 map reduce job(s)failed!

--I am this script below

a = LOAD '/user/admin/pig/scripts/pig1.csv' USING PigStorage(',') AS (pid chararray,id:int,city:chararray);  
    describe a ;  
    b = LIMIT a 100;  
    C = FOREACH a generate pid, id;  
    dump C;  
    d = group C by pid; dump d;  

请帮忙。

1 个答案:

答案 0 :(得分:0)

如果问题仅出现在dump d;,那么该行上可能会隐藏一些字符。您可以使用像BBEdit这样的编辑器并打开show invisibles以查看此行上是否有任何隐藏的特殊字符。我试着按原样运行脚本并且工作正常。