Question

我们正在处理5000万个数据，最后处理完之后，我们在Pig脚本中使用了等级函数，执行等级函数时Pig作业失败了，并且我们得到的错误率低于： “ org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器过多：121个max = 120”

我们已在Pig脚本中使用了以下命令，但仍收到相同的错误：

设置mapreduce.job.counters.max 1000

如果有人能帮助我度过这个错误，或者可以为我提供另一种对超过5000万个处理过的数据使用等级函数的方法，我将不胜感激。

Answer 1

检查mapred-site.xml计数器限制值。很可能该文件中的限制设置为120。该文件位于hadoop主目录中，例如：$ HADOOP_HOME / conf / mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

在Hadoop 2.0中，其mapreduce.job.counters.max

<property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

猪作业失败，出现“ org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：121个最大值= 120”

1 个答案: